# テキストベクトルの重みづけを用いた タスクに対する単語分割の最適化

平岡 達也 $\dagger \cdot$ 高瀬 翔 $\dagger \cdot$ 内海 慶 ${ }^{\dagger} \cdot$ 欅 惇志 $\dagger+$ ・岡崎 直観 $\dagger$

これまでの自然言語処理において単語分割は，後段タスクに依存しない前処理として行 われてきた。そのため，単語分割済みのデータを用いて後段タスクを学習し，後段モ デル性能を評価するまで単語分割が適切であったかはわからない。この問題を解決す るため本稿は後段タスクに応じて適切な単語分割を行うための新たな手法を提案する。本稿で提案する手法 $(\mathrm{OpTok}=$ Optimizing Tokenization) は後段タスクの学習損失値 に基づいて，適切な単語分割の確率が高くなるように更新される。OpTok は文書分類 のように文べクトルを計算に用いるタスクに使用することが可能であり，実験結果より 提案手法は感情分析や Textual Entailment などの文書分類の性能向上に寄与し, 中国語, 日本語, 英語の三言語に適用可能であることを確認した。さらに，近年注目を集め ている BERT に対して提案手法を適用することで, さらなる性能の向上が得られるこ とを確認した。

キーワード : 単語分割, 文書分類
## Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector

\author{
Tatsuya Hiraoka ${ }^{\dagger}$, Sho Takase ${ }^{\dagger}$, Kei Uchiumi ${ }^{\dagger \dagger}$, Atsushi Keyaki ${ }^{\dagger \dagger}$ and \\ NAOAKI OKAZAKI ${ }^{\dagger}$
}

In traditional NLP, we tokenize a sentence as a preprocessing, and thus the tokenization is unrelated to a downstream task. To address this issue, we propose a novel method to explore an appropriate tokenization for the downstream task. Our proposed method, Optimizing Tokenization (OpTok), is trained to assign a high probability to such appropriate tokenization based on the downstream task loss. OpTok can be used for any downstream task which uses a sentence vector representation such as text classification. Experimental results demonstrate that OpTok improves the performance of sentiment analysis, genre prediction, rating prediction, and textual entailment. The results also show that the proposed method is applicable to Chinese, Japanese, and English. In addition, we introduce OpTok into BERT, the state-ofthe-art contextualized embeddings, and report a positive effect on the performance.

Key Words: Word Segmentation, Tokenization, Text Classification


## 1 はじめに

入力文を単語の系列へと変換する単語分割は自然言語処理における重要な処理である．中国語や日本語のように単語境界をスペースなどで明示しない言語を処理する場合は，一般的に入力となる自然文を単語列へと分割する必要がある。また英語のようにスペースで単語区切りを明示する言語であっても，単語よりも小さい適切な単位に再分割を行うことがタスクを解く上で重要である (Peng and Dredze 2015, 2016; Sennrich et al. 2016; He and Sun 2017; A and Augenstein 2020; Bollegala et al. 2020).

従来の自然言語処理において単語分割は，モデルの学習の前に行い，学習を通して変更されることがない不可逆的な前処理として行われてきた。図 1(a)に示すように，学習済みの単語分割モデルを用いて入力文を単語列へと変換し，これを後段タスクを解くためのモデル（後段モデル）へと入力するという処理過程が一般的である。この単語分割では, 学習済みの単語分割モデルに基づいて入力文を尤もらしい単語列へと分割する。しかし，そのようにして得られた単語分割が後段タスクを解く上で有効であるかは不明であり，実際にその単語分割を用いて学習した後段モデルの性能を比較してみなければ単語分割の評価はできない.

近年の研究では，単語分割をサンプリングし，様々な単語分割を用いて後段タスクを学習することで，後段モデルの性能が向上することが示されている (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2019). このような方策は未知語や表記摇れに頑健な後段モデルを作成するという点において優れているが，後段タスクそのものに単語分割を最適化するという点については考慮されていな

(a) 従来の不可逆な単語分割

(b) 後段タスクへの単語分割の最適化（提案手法）

図 1 自然言語処理における (a) 従来の不可逆な単語分割と, (b) 本稿で提案する後段タスクに対して単語分割を最適化する手法の概要. 提案手法は後段タスクの学習損失値を用いて, 後段タスクの性能が向上するような単語分割が得られるように単語分割モデルを直接最適化する.

い. 後段タスクに適した単語分割が獲得できれば，後段モデルの性能のさらなる向上が得られると期待される。

また，複数の単語分割の候補を同時に使用することで，単語分割に起因する後段タスクの性能低下を防ぐ方法も提案されている (Chen et al. 2017; Zhang and Yang 2018; Yang et al. 2018).この方法では，LSTM (Hochreiter and Schmidhuber 1997)をべースとした機構を用いて，入力文について可能なあらゆる単語分割を考慮しながら文べクトルを計算する。この方法は単語分割の失敗が後段タスクへ伝搬することを防ぐことができるが，可能なあらゆる単語分割について毎回計算を行う必要があるため計算コストが大きい.

これまでのアプローチとは異なり, 本研究では後段タスクを学習するために適切な単語分割を,後段タスクの学習と同時に自動で獲得することを目的とする。本稿では図 1(b)に示すように，後段タスクとそれを学習する後段モデルに基づいて単語分割モデルを最適化する新たな手法を提案する. 提案手法は, 入力文の複数の単語分割候補を用いて文べクトルを作成し, 後段モデルへと入力する．後段モデルの学習損失値が下がるように単語分割モデルを更新することで，単語分割モデルは後段タスクを解くために有用な単語分割候補を出力するように学習される。

提案手法は，入力文を文べクトルへと変換して利用する様々なタスクに利用することが可能である。本稿では中国語，日本語，英語における文書分類の複数タスクで実験を行い，提案手法の有効性を確認した。さらに，提案手法は大規模コーパスで事前学習を行ったエンコーダーに対しても適用可能であることを示す。様々なタスクで性能の向上が報告されている事前学習済みエンコーダー である BERT (Devlin et al. 2018)に対して提案手法を適用し，その性能が向上することを実験により示す.

## 2 提案手法: OpTok

## 2.1 手法概要

本稿では，後段タスクに対して単語分割を最適化する新たな手法 (OpTok: Optimizing Tokenization) を提案する。提案手法は後段タスクを学習する上で適切な単語分割，すなわち後段タスクの性能が向上するような単語分割を学習する。形式的には, 提案手法は入力文 $s$ を語彙に含まれる単語 $w \in V$ の系列 $s^{\prime}=w_{1} \ldots w_{i} \ldots w_{I}$ へと変換する. ここで $I$ は文に含まれる単語の個数である。また， $q(\cdot)$ を後段タスクの評価関数， $z$ を後段タスクの正解データ， $f(\cdot)$ をニューラルネットワークを用いた後段モデルとしたとき，本研究の目的は後段タスクのスコアが最大となるような $s^{\prime}$, すなわち $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を求めることである.

OpTokを後段タスクのスコア $\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ に基づいて学習することで, $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を満たすような単語分割 $s^{\prime}$ を獲得する。 すなわち, 単語分割を前処理として行ってから後段モデルを学習するという従来のパイプライン式の学習とは異なり, 本研究では単語分割モデルである提案手

図 2 提案手法による, 3-best 分割を用いた文べクトル $\boldsymbol{h}_{s}$ の計算の概要（学習時）。評価時は従来と同様, 1-best 分割を用いた文べクトルの計算を行う．実線による矢印は誤差逆伝播法によって微分可能な処理を表す. Embedding のパラメータは更新可能だが，本稿での実験では更新を行わない． Encoder はニューラルネットワークを用いたエンコーダーで，分割済みの単語列を文べクトルへと変換する様々なモジュールを使用することができる。また, Downstream Model は後段タスクを解くためのニューラルネットワークであり，文書分類の場合は MLP などを用いる。

法と後段モデルを同時に最適化する。 ある文に対して, OpTokは複数の単語分割の候補を出力し,候補のうち後段タスクのスコアが高くなるような単語分割に高い確率を割り当てるように学習を行う。評価時にはその時点の OpTokのパラメータに基づき, 最も確率の高い単語分割を出力し, 後段モデルへと入力することで計算コストを削減する.

図 2 は提案手法である OpTokによる学習時の計算の概要を示している. OpTok はニューラル言語モデルを持ち, そのパラメータに基づいて $N$-best の単語分割を求める。各単語分割候補はニュー ラルエンコーダーで文べクトルへと変換され，さらに文べクトルは単語分割候補の確率に基づいて重み付けされる。各単語分割候補の文ベクトルの重み付き和を, 通常の文ベクトルと同様に後段モデルへと入力する。後段モデルの学習損失値に対して誤差逆伝搬法を用いることで, OpTok は後段タスクの性能が向上するような単語分割に対して高い確率を付与するように学習される。 かくして提案手法は, 後段モデルの学習と同時に $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を満たすような $s^{\prime} を$ 求める. 本章では，これらの処理を順に説明する。

## 2.2 ニューラルユニグラム言語モデル

OpTok は単語の確率 $p(w)$ をニューラルユニグラム言語モデルを用いて次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)} .
\end{aligned}
$

ここで MLP は学習可能なパラメータを持つ多層パーセプトロン, $\boldsymbol{v}_{w}$ は単語 $w$ の分散表現である.

学習を安定させるために，本研究ではユニグラム確率の平滑化を行う (Kudo 2018). 具体的に

は，ハイパーパラメータ $\alpha$ を用いて $p^{*}(w)=\frac{p(w)^{\alpha}}{\sum_{\hat{w} \in V} p(\hat{w})^{\alpha}}$ と平滑化したユニグラム確率を用いる.平滑化された単語のユニグラム確率を用いて文の確率を次のように計算し，これに基づいて文を単語列へと分割する。

$
p\left(s^{\prime}\right)=\prod_{w \in s^{\prime}} p^{*}(w)
$

単語分割に用いる語彙 $V$ は, 予め適当な大きさになるように初期化する。語彙に含まれる単語の初期化には, 配布されている学習済みの単語分割モデル (Kudo 2006; Yang et al. 2017) や, 教師なし単語分割手法 (Goldwater et al. 2006; Mochihashi et al. 2009; Sennrich et al. 2016) を用いて獲得された語彙を使用することができる。本研究では，ニューラルネットワークを用いた自然言語処理において広く使用されている教師なし単語分割手法である SentencePiece (Kudo and Richardson 2018)を用いて語彙の初期化を行う.

## 2.3 単語分割を最適化するための機構

学習時, OpTok は複数の単語分割候補の文ベクトルを計算し, 各単語分割候補の確率によってそれらを一つの文べクトルへと変換する。

まず，ある入力文 $s$ の $N$-best の単語分割候補 $s_{1}^{\prime}, \ldots, s_{n}, \ldots, s_{N}^{\prime}$ を求める. $N$-best の単語分割は, 2.2 節で得られた単語確率に対して Forward-DP Backward-A*アルゴリズム (Nagata 1994)を適用することで得られる.

次に，それぞれの単語分割候補 $s_{n}^{\prime}$ を文ベクトル $\boldsymbol{h}_{s_{n}^{\prime}}$ へと変換する.

$
\boldsymbol{h}_{s_{n}^{\prime}}=g\left(s_{n}^{\prime}\right)
$

ここで $g(\cdot)$ は単語列を一つのベクトルへと変換するニューラルエンコーダーで, CNN や BiLSTM,注意機構などを用いたものを想定している。なお, ニューラルエンコーダーに入力する単語分散表現は, ニューラルユニグラム言語モデル（2.2 節）で使用したものと共有することで，学習が安定することが経験的に分かっている.

最後に, 入力文の最終的な文べクトル $\boldsymbol{h}_{s}$ として, 式 (3) で求めた各単語分割候補の確率を用いて各文ベクトルの重み付き和を計算する。

$
\begin{gathered}
a_{n}=\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)} \\
\boldsymbol{h}_{s}=\sum_{n=1}^{N} a_{n} \boldsymbol{h}_{s_{n}^{\prime}}
\end{gathered}
$

自然言語処理で一般的に使用される注意機構と同様, 各単語分割候補の文べクトルに対する重みは
$\sum_{n=1}^{N} a_{n}=1$ を満たすように正規化される 1.

このようにして計算した文べクトル $h_{s}$ は，通常のニューラルエンコーダーを用いて計算された文べクトルと同じように使用することができる，例えば， $\boldsymbol{h}_{s}$ をラベルサイズのベクトルへと変換する MLP に入力することで，ニューラル文書分類器を作成することができる．文べクトル $\boldsymbol{h}_{s}$ を後段モデルに入力して計算された正解ラベルとの交差エントロピー損失を用いてモデル全体を更新することで，OpTokの持つニューラルユニグラム言語モデルは後段タスクに有用な単語分割に対して高い確率を付与するように学習される。評価時には，ビタビアルゴリズム (Viterbi 1967)によって最も確率の高い単語分割を求めることで, OpTokにより学習されたタスクに適した単語分割を得ることができる。

なお, 本研究は複数の単語分割候補を用いて後段モデルの学習を行うという点において, サブワード正則化との関係が深い. サブワード正則化 (Kudo 2018)では, 学習損失値をサブワード分割の期待値によって重みづけることで, 複数のサブワード分割を考慮した後段モデルの学習を目的としている。一方で提案手法の式 (4) では, 単語分割の確率によってエンコードされた文べクトルを重みづけすることで, 複数の単語分割を用いた後段モデルの学習を行う。また, 提案手法ではサブワード正則化とは異なり, 単語分割の確率を求めるための言語モデルのパラメータが学習と同時に更新される点で異なっている.

## 2.4 語彙の制約

タスクに対して適切な単語分割を求める時, 単語長がより長く後段タスクに特徴的な単語を用いて単語分割を行うことが一つの局所最適解となる。これは Length Bias 問題 (Lafferty et al. 2001; Kudo et al. 2004) として知られており，提案手法のように単語分割の確率をユニグラム確率の積で計算する場合は, トークン数が少なくなるような単語分割, すなわち単語長が長い単語を多く含む単語分割が優先的に選ばれてしまう，本研究においては，学習時にこうした低頻度かつ長い単語を用いることが後段モデルの過学習につながり, 後段タスクの性能低下を引き起こす.これを防ぐため, 本研究では学習時の語彙の規模に対して制約を導入する．具体的に，OpTokは各ミニバッチ学習ごとに本来の語彙 $V$ から単語をサンプリングすることで, $\left|V^{\prime}\right|<|V|$ となるように単語数が制限された語彙 $V^{\prime}$ (制限付き語彙と呼ぶ）を作成し，これを用いてミニバッチ学習を行う。ここで制限付き語彙のサイズ $\left|V^{\prime}\right|$ はハイパーパラメータであり, 本来の語彙 $V$ からの単語のサンプリングには平滑化されたユニグラム確率 $p^{*}(w)$ を使用する（2.2 節）。また, 長さが 1 の単語は必ず $V^{\prime} に$ 含まれるように制約を設け, 制限付き語彙 $V^{\prime}$ に含まれる単語の確率をノーマライズすることで, 新たなユニグラム確率を得る. OpTok は本来の語彙 $V$ に含まれる全ての単語について単語分散表現を保持するが，サンプリングによって $V^{\prime}$ から除外された単語は未知語として扱う． $V^{\prime}$ はミニバッ


チ学習ごとに作成し直すため, ユニグラム確率が高い単語ほど頻繁にサンプリングされ，パラメー 夕の更新機会が与えられる。評価時には, 式 (2) によって得られる学習済みの単語のユニグラム確率に基づいて上位 $\left|V^{\prime}\right|$ 単語を $V$ から選択して使用する。

高頻度な単語は一般的に単語長が短いため, サンプリング後の $V^{\prime} には$ 短い単語が多く含まれる。 これにより，提案手法の学習時に長く特徴的な単語を含まない単語分割を使用することができ, 結果として短く汎用的な単語を用いた単語分割を採用することが可能となる。この処理は Continuous Cache を用いた語彙削減手法に由来している (Grave et al. 2016; Kawakami et al. 2017).

また，このようにサンプリングによって制限付き語彙を作成することで，ミニバッチごとに学習時の $N$-best の単語分割候補が多様化し, サブワード正則化を用いた後段モデルの学習が可能となる. 2.2 節で導入したユニグラム確率の平滑化のためのハイパーパラメータ $\alpha$ を用いることで, 単

率の分布は一様分布に近くなり， $V^{\prime}$ を構成する単語はより多様なものになる.

## 2.5 言語モデルの性質の維持

OpTok による単語分割の最適化は後段タスクの損失関数のみに依存しているため, OpTok のユニグラム言語モデルは学習コーパスに含まれる単語の頻度を反映したものから乘離してしまう可能性がある。一方で, 学習コーパスの単語頻度を反映したユニグラム言語モデルが要求される場面もある．例えば本研究においては，ラベルに偏りのあるデータを扱う場合に，少量ラベルに偶然現れた低頻度語を獲得する可能性がある。言語モデルがこうした低頻度の単語に高い確率を与えた場合, 2.4 節で導入した語彙のサンプリングが N-best の多様性を失わせ, 局所解から抜け出しにくくなることが考えられる。

これを防ぐためには，OpTokのユニグラム言語モデルが実際の単語の頻度をある程度反映したものである必要がある。そのような場合には, 次のように教師なし単語分割とニューラル EM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Tran et al. 2016)に基き，入力文 $s$ について言語モデルを更新するための損失関数を用いることができる.

$
\mathcal{L}_{s}^{\operatorname{lm}}=-\sum_{n=1}^{N} a_{n} \sum_{w \in s_{n}^{\prime}} \log p^{*}(w)
$

$\mathcal{L}_{s}^{\operatorname{lm}}$ と後段タスクの損失値の重み付き和に対して誤差逆伝搬を用いることで，言語モデルの性質を維持しつつ単語分割の最適化を行う. 文書分類の場合であれば，入力文に対する予測ラベルと正解ラベルとの交差エントロピー損失 $\mathcal{L}_{s}^{\mathrm{cl}}$ を用いた次の重み付き和に対して最適化を行う.

$
\mathcal{L}_{s}=\mathcal{L}_{s}^{\mathrm{cl}}+\mu \mathcal{L}_{s}^{\mathrm{lm}},
$

ここで $\mu$ はハイパーパラメータであり，より大きな $\mu$ を用いるほど OpTok に含まれるニューラル

ユニグラム言語モデルは学習デー夕における単語の出現頻度を反映したものになる。

## 3 実験

本研究ではタスクに応じて単語分割を最適化することで，後段タスクの性能の向上を目指す. 本章では提案手法である OpTokを複数の文書分類タスクに適用し，その効果を評価する。

## 3.1 データセット

テキストを入力とし，そのラベルを予測する文書分類によって，提案手法 OpTok の評価を行う.提案手法が言語によらず有効であることを確認するために，中国語，日本語，英語のデータセットを用いる。本研究ではタスクに応じて適切な単語分割を学習する手法を提案しているため，インフォーマルな文体を多く含み，単語分割の差が文書分類の性能差として出やすいと考えられる SNS コーパスを用いた感情分析タスクを用いる。また，中国語，日本語，英語において，同一のテキストに対して二つのタスクが設定されているデータセットを用いることで，提案手法がタスクごとに異なる単語分割を学習できているかを確認する。さらに，二つの入力文を用いる Textual Entailment タスクを用いることで，提案手法が複数の入力を必要とするタスクであっても適用できることを確認する。各データセットについて，順に説明する。

$\operatorname{Weibo}(\mathbf{Z h})^{2}$ は， 中国語の SNS から作成された感情分析タスクのデータセットである. 各テキストには Positive・Negative のいずれかのラベルが付与されている。配布されているデータはすでに前処理として単語分割が行われているため, デトークナイズとしてスペース記号を除去して使用する.

Twitter $(\mathrm{Ja})^{3}$ は，日本語の SNS から作成された感情分析タスクのデータセットである。本データセットは家電機器などの製品に関するテキストを収集し，対象の製品について Positive・Negative $\cdot$ Neutral ・ Both of Positive and Negative・Unrelated の５つのラベルが各テキストに最低 1 つ付与されている. 配布されているデータのうち 2018 年夏の時点で 352,554 件にアクセスでき，本研究ではこれらのうち Positive・Negative・Neutral の 3 ラベルのうちいずれか 1 つのが付与されたテキストのみを使用して実験を行う。

Twitter(En) 4 は英語の SNS から作成された感情分析タスクのデータセットで，各テキストは Positive・Negative のいずれかのラベルが付与されている. 本研究の実験では，小文字化などの前処理を行わずに用いる.

SNLI (Bowman et al. 2015) は自然言語処理において広く使用されている Texutual Entailment 夕スクのデータセットで, 英語で記述されている。二つの文の含意関係を分類するタスクであるため,

本データセットの入力は 2 文となる，本データセットを，提案手法が複数の入力を必要とする夕スクに適用可能であることを検証するために使用する。学習・検証・評価にはそれぞれデフォルトの分割を用い，既存研究に倣ってラベルが付与されたデータのみを使用する.

Amazon: Genre\&Rating(En) は Amazon product data ${ }^{5}$ を用いて作成した英語のデータセットである。元となるコーパスは 24 種の製品ジャンルについてユーザーのレビューが収録されており，各レビューにはユーザー自身が設定した 1 から 5 までのレートが付与されている。本研究では，各製品ジャンルから 5,000 件ずつサンプリングし，レビューテキストを入力としたジャンル予測タスクとレート予測タスクとして使用する。本データセットは同一のテキストに対して二つのタスクが設定されているため, 提案手法がタスクに応じて異なる単語分割を学習できているかを検証することができる。テキストの長さはレビューごとに大きく異なるため，スペース記号区切りで 200 単語を上限とし，これを超えないようにレビューテキストをサンプリングした.

JD.com: Genre\&Rating(Zh) は, 中国の電子商取引サイトである JD.com に投稿されたレビュー を用いて作成された中国語のデータセットである (Zhang et al. 2015)6. 各レビューには商品のジャンルと，ユーザーが設定した 1 から 5 までのレートが付与されている. Genre\&Rating(En)データセットと同様にして, レビューデータセットからジャンル予測タスクとレート予測タスクを作成した. 充分なサンプル数を持つ 13 ジャンル7を選択し，各ジャンルごとに 30,000 件ずつ，レートが均等になるようにレビューデータをサンプリングした，使用するレビューテキストは，その文字数が 3 から 100 に収まるようにサンプリングを行った.

Rakuten: Genre\&Rating(Ja) は, 日本の電子商取引サイトである楽天市場に投稿されたレビュー を用いて作成された日本語のデータセットである (Rakuten 2014). 各レビューには商品のジャンルとユーザーが設定した 1 から 5 までのレートが付与されている. JD.com から作成したデータセットと同様に，充分なサンプル数を持つ 21 ジャンル8 を選択し，各ジャンルと各レートからそれぞれ 5,000 件ずつレビューデータをサンプリングした. 2015 年のレビューデータを使用し，レビュー本文の文字数が 100 に収まるようにサンプリングを行った.

SNLI 以外のタスクについては，8:1:1 となるようにデータセットをランダムに分割し，それぞれ学習・検証・評価データセットとして使用する，Genre\&Rating タスクについても同様に，ジャンル比が等しくなるような制約のもとランダムに 8:1:1 に分割した。なお，ジャンル予測タスクとレート予測タスクでは同じデータの分割を使用する。表 1 に感情分析データセットの概要を示し


た.また, 英語のジャンル・レート予測タスクについては表 2 にジャンルとレートのサンプル件数を示した。

表 1 感情分析タスクのデータセット概要.

表 2 Amazon product data から作成した Genre\&Rating 予測タスクのデータセット概要

## 3.2 実験設定

OpTok のニューラルユニグラム言語モデルについて, 式 (1) の MLP として 2 層のパーセプトロンを使用する。式 (4)の $\boldsymbol{h}_{s^{\prime}}$ を計算するためのエンコーダー $g(\cdot)$ として, 注意機構と線形層を接続したエンコーダー (Attention) と，BiLSTM と線形層を接続したエンコーダー (BiLSTM) の二種類を用意した。これは提案手法がエンコーダーの種類によらず性能の向上に寄与することを確認するためである。注意機構を用いたエンコーダーでは，単語列の分散表現の重み付き和を線形層に入力することで文べクトルを計算する。また，BiLSTM を用いたエンコーダーでは，分割された単語列の分散表現を BiLSTM に入力し, その出力の Max-Pooling を線形層に入力することで文べクトルを計算する。これらの処理において，活性化関数として $\tanh を$ 線形層の前後に使用した。それぞれのエンコーダーの計算の概要を図 3 に示した.

文書分類の後段モデルとして 3 層の MLP を使用し，文べクトルをラベルサイズのベクトルへと変換する。この時, MLPへの入力となる文ベクトルに $50 \%$ のドロップアウトを適用した. SNLIについては, text と hypothesisの双方に対して同じエンコーダーを使用し, それぞれの出力のべクトル結合を文べクトルとして後段モデルへと入力する.

提案手法との比較には，広く使用されている単語分割モデルである SentencePiece (Kudo and Richardson 2018)を用いる。具体的には，SentencePieceによって分割された単語列を文べクトルへと変換し, 後段モデルへと入力する。 すなわち, 提案手法のうちニューラルユニグラム言語モデル

(a) Attention エンコーダー

(b) BiLSTM エンコーダー

図 3 実験で使用するエンコーダーの概要. 単語分割済みの文 $s^{\prime}$ に含まれる単語の系列 $w_{1}, w_{2}, w_{3}$ に対応する単語分散表現 $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}, \boldsymbol{v}_{w_{3}}$ について，それぞれのエンコーダーで文べクトル $\boldsymbol{h}_{s^{\prime}}$ を計算する処理の概要を示す.

を SentencePiece に置き換え，入力文を分割するモデルをベースラインとする．複数の研究によって, 決定的な単語分割ではなく確率的な単語分割を用いて後段モデルを学習するサブワード正則化によって性能の向上が得られることが示されている (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2019)，そのため, 本研究においてもサブワード正則化を用いた SentencePiece をべースラインモデルとして使用する.

SentencePiece のモデルは各データセットの学習データを用いて学習した。語彙のサイズは $8 \mathrm{~K}$, 16K, 24K, 32K を探索し, Twitter(Ja)とTwitter(En), Genre\&Rating(Zh)については $16 \mathrm{~K} を$ 選択し, Weibo(Zh)とSNLI, Genre\&Rating(En), Genre\&Rating(Ja)については 32Kを選択した. また, 学習済みの SentencePieceの語彙を用いて提案手法 OpTokの語彙を初期化し，ニューラルユニグラム言語モデルについても SentencePiece によって推定された単語確率との KL ダイバージェンスが小さくなるように事前学習し初期化した。

単語分散表現は各データセットの学習データを用いて双方向言語モデルで事前学習し, 文書分類の学習時には固定した. 後段タスクに対して適切な単語分割は事前学習時に不明であるため, 双方向言語モデルは SentencePiece によるサブワード正則化を用いて学習した. Genre\&Rating タスクについては, 同じ単語分散表現を用いて学習を行った. 全てのデータセットについて, 外部データによる事前学習は行っていない.

提案手法とベースライン手法を用いた文書分類の学習には, 正解ラベルに対する交差エントロピー損失を用いる。 パラメータの最適化には Adam (Kingma and Ba 2014)を用い, PyTorchのデフォルトの設定を用いた。

OpTok と SentencePiece の双方で使用する単語確率の平滑化のためのハイパーパラメータ $\alpha$ は既存研究 (Kudo 2018) に倣い $\alpha=0.2$ とした. 提案手法の学習において, $N$-best 分割については $N=3$, 制限付き語彙の大きさ $\left|V^{\prime}\right|$ は本来の語彙の大きさの半分とした. すなわち, Twitter(Ja)と Twitter(En), Genre\&Rating(Zh)については $\left|V^{\prime}\right|=8,000$, Weibo(Zh), SNLI, Genre\&Rating(En), Genre\&Rating(Ja)については $\left|V^{\prime}\right|=16,000$ である. 評価時には，学習された言語モデルに基づいて上位 $\left|V^{\prime}\right|$ 単語を語彙として選択し，1-best 分割を用いてラベルの予測を行う。本節の実験では提案手法の効果を調べるために，言語モデルの性質を維持するための損失関数への重みは $\mu=0$ とした。本稿における全ての実験結果について，事前学習部分を除く全ての学習可能パラメータをランダムに初期化し, 5 回の試行結果の平均 F1 値を報告する。また, 文書分類の最大学習エポックは 20 とし, 各試行において検証データで最大性能となるモデルを選択し, 評価データで評価を行った.

提案手法の実装と実験に使用したソースコードは GitHubにて公開している9.


## 3.3 実験結果

OpTok と SentencePiece による単語分割手法を用いて後段モデルを学習し，その実験結果を表 3 に示した. SentencePiece については，提案手法における制限付き語彙と本来の語彙それぞれと同じ大きさの語彙を持つ設定 (SentencePiece, SentnecePiece x2) で実験を行った.

実験結果より，多くの各言語・各タスクの組み合わせにおいて提案手法は文書分類の性能向上に寄与することを確認した。また多くの実験設定において, OpTokの性能は SentencePieceのどちらの語彙の大きさの設定による性能よりも高いことが示された。注意機構を用いたエンコーダーと， BiLSTM を用いたエンコーダーのどちらを使用した場合であっても，提案手法は SentenecePiece による単語分割を用いた手法の性能を上回ることから，提案手法は使用するエンコーダーに関わらず従来の単語分割手法と比べて性能の向上に貢献することを確認した． SNLIにおける実験結果からは, 複数の入力文を要求するタスクであっても提案手法を用いることで性能向上に寄与することが示された，さらに，OpTok はインフォーマルな表現を多く含むデータセット（SNSでの感情分析と Genre\&Rating タスク）に限らず，SNLIのようにフォーマルな表現を含むデータセットであっ

(a) 感情分析タスクと SNLI での実験

(b) レビューデータを用いた実験

表 3 文書分類での実験結果。太字は各データセットでの最大値を表す。|vocab| は SencencePiece/SentencePiece x2 それぞれの語彙の大きさを表し, これは OpTokの制限付き/本来の語彙の大きさと同じである.

ても性能向上に貢献することが確認された.

提案手法は評価時に本来の語彙の半分の大きさの語彙のみを使用している。このことから，提案手法はタスクを解くために有用な語彙を選択することで，語彙削減に貢献していると考えることができる.

注意機構によるエンコーダーを用いた Rating (En) タスクでは，提案手法による性能の低下が確認された。これは表 2 に見られるような, ラベルの極端な偏りに起因すると考えられる，注意機構によるエンコーダーは BiLSTM によるエンコーダーに比べて単語の並びを考慮しないため，文べクトルに与える単語分割の影響が大きい。また， Rating(En)においてレートが 5 となるような高評価レビューを検出するためには，肯定的なキーワードを認識できれば良い。これにより，OpTok は easy-positive である高評価レビューに特徴的なキーワードのみを有用な語彙として選択し, 低評価レビューの検出に有効な単語を語彙から落としてしまっているために性能が低下したと考えられる。こうしたラべルの偏りに起因する性能の低下については, 偏りを考慮して学習を行うような損失関数 (Li et al. 2020b) を採用することで防ぐことが可能であると考えられる.

## 4 分析

## 4.1 単語分割のみによる性能向上

3.3 節の結果からだけでは, 性能向上が提案手法で単語分割モデルと後段モデルを同時に最適化したことに起因するものであるかは不明瞭である。 そこで, 本節では単語分割の最適化そのものが,後段タスクの性能向上に貢献しているかを調べる。単語分割の最適化のみの影響を調べるために,文書分類を OpTok に含まれるニューラルユニグラム言語モデルのみで学習する。 すなわち，後段モデルと OpTok に含まれるニューラルエンコーダーのパラメータをランダムに初期化し, 固定することで単語分割の更新のみによる性能向上を確認する。ニューラルユニグラム言語モデルのパラメータのみを更新し, 学習損失值と検証デー夕における $\mathrm{F} 1$ 值の推移を観察し, 単語分割の最適化によって性能の向上が得られることを確認する。

本実験を 3 節で用いた Twitter(Ja) データセットにおいて行い，その結果を図 4 に示した. 図 4 は学習データにおける損失值と検証データにおける $\mathrm{F} 1$ 值について, それぞれ学習開始時の値からの差をエポックごとに示した。図より, 学習エポックの増加に伴って学習損失值が下がり, 検証デー 夕における $\mathrm{F} 1$ 値は上昇している。このことから，提案手法は後段タスクの損失関数を用いて，その性能が向上するような学習ができていることが示された。また，この結果は 3.3 節における全体的な性能の向上に単語分割の最適化手法そのものが寄与していることを示唆している.

## 4.2 タスク指向の単語分割

提案手法によって獲得される単語分割が後段タスクに応じて異なる物であるかを調べる。本節では，3章での実験で用いた英語・中国語・日本語の Genre\&Rating タスクにおいて，提案手法がどのような単語分割を学習したかを定性的に分析する。なお, Genre\&Rating タスクに用いたデー タセットは同一のテキストに対して異なる二つの後段タスクが設定されている。また，本節では BiLSTM によるエンコーダーを用いた実験設定によって得られた単語分割を比較する.

表 4 はジャンル予測タスクとレート予測タスクにおいて, 提案手法が学習した言語モデルに基づ

図 4 Twitter(Ja) データセットでの, OpTokによる単語分割の更新のみを用いた性能の推移. 検証データでの F1 值と学習データでの損失値について, 学習開始時の値からのエポックごとの差の推移を示す.

表 4 提案手法を用いた Genre\&Rating データセットの学習において，学習開始時に比べてユニグラム確率が大きく向上した単語の上位 15 件.

き，学習開始時に比べてユニグラム確率が大きく上がった単語の上位 15 件を示す. 表より，提案手法によって学習を行ったニューラルユニグラム言語モデルは, ジャンル予測・レート予測のそれぞれで有用と考えられる単語に対して高い確率を与えるように更新されていることがわかる．例えば英語の Amazon データセットにおいて「zombie」という単語はジャンルを予測するために重要な手がかりとなり，「bad」はレート予測に有効であると考えられる.

また, 中国語の JD.com データセットにおいては,「车」「衣」などのジャンル予測に有用とみられる単語や，「清」「差的」などのレート予測に有用な単語の確率がそれぞれ上昇していることが確認できる.

日本語の Rakuten データセットでは，「污れ」「足」などの単語の確率がジャンル予測タスクでの学習で上昇し，レート予測タスクでは「とても」「気になる点」などの単語の確率が上昇している.レビューでは「星 4 つ」のように，レートを直接明記する例も存在しており, 日本語のレート予測の学習で「星」という単語の確率が上昇している点も特筆すべきである.

中国語と日本語のジャンル予測タスクでは, それぞれ「的」「了」や「が」「の」のような機能語の確率が大きく上昇している。これは，ジャンル予測タスクにおいて名詞を適切に切り出すことが性能の向上につながり，その区切りを判別するために機能語が有効であるためだと考えられる.

これらの結果から, OpTokは後段タスクを解く上で有効と考えられる単語をより多く使用して単語分割を行うモデルとして学習されることが確認された。なお, 2.5 節で説明した通り, 本実験では言語モデルの性質を維持するような損失関数を用いていないため, 学習済みの各単語の確率が極端な値になる場合がある。

検証デー夕に含まれる入力文のうち，提案手法によって獲得された後段タスクごとの単語分割の差が顕著である英語，中国語，日本語それぞれの例を表 5 に示した，表において， SentencePiece は語彙の規模を $16 \mathrm{~K}$ としたモデルの単語分割の結果を示し, 提案手法は $32 \mathrm{~K}$ の語彙を用いて学習し単語のスコアが高い上位 $16 \mathrm{~K}$ 単語を用いた単語分割の結果を示した.

英語のジャンル予測タスクに対して最適化を行った場合は「book / s」のように，ジャンルを予測するために重要であると考えられる単語の屈折語尾を切り落とす単語分割が見られる。これにより, 屈折によらず「book」という単語を認識できるため, 正しいラベルである Bookジャンルを適切に予測することができると考えられる。一方でレート予測タスクに対して最適化を行った場合は 「interest / ing」のように，レートを予測するために有用であると考えられる「interest」という単語を適切に捉えるために，その派生語尾を切り落とす分割が見られる。これにより，「interested」 や「interests」といった単語を「interest / ing」と同じように捉えることができ，レート予測の性能向上をもたらすと考えられる。また，ジャンル予測で学習された単語分割は「interesting」を分割せず，レート予測では「books」を分割していない.

中国語の例においても，ジャンル予測とレート予測によって獲得された単語分割の差が確認できる. ジャンル予測で学習したモデルでは「指纹」や「操作」など，正しいジャンルである「携帯電

 \\

表 5 異なるタスクにおいて，提案手法 OpTokによって獲得された単語分割の例と, ベースラインである SentencePiece による単語分割の例. 同じテキストに対して, ジャンル予測とレート予測の異なるタスクを学習した．手法間で特筆すべき分割の差が見られる箇所を太字で示した.

話/デジタル」を予測するために有用な単語を分割せずに残している一方で, ジャンル予測に不要と考えられる「不好」は分割して語彙から落としていることがわかる. 対してレート予測で学習したモデルは「不好」を連結し，「指纹」や「操作」を語彙から落としている。さらに，中国語の否定極性表現である「一点都」を切り出すことで，「一点都不」や「一点都没」などの表現を統一的に認識できるように学習できている。また, SentencePieceでは単語として認識していた「防指纹」 や「而且」について, 提案手法ではどちらも使用していない点が特徴的である。「防指纹」は耐指紋コーティングを表すが，使用したデータセットでは単純に「指纹」について触れるレビューが多く，そのほとんどが「防指纹」を含むレビューと同じジャンルであるために語彙削減として「防指纹」を語彙から落としたと考えられる。また「而且」は「また」などを表す接続詞で，ジャンル予測とレート予測の双方において意味を持たない単語であり，語彙から削除されたと考えられる.

日本語の例では, ジャンル予測で学習したモデルは「メイク」を連結しており，レート予測で学習したモデルは「ませんでした」という否定フレーズを連結することで，それぞれのタスクに応じた分割が獲得されていることが確認できる。特に単語「メイク」は $32 \mathrm{~K}$ の語彙の規模を持つ SentencePiece モデルには含まれているが，16K のモデルには含まれていないため SentencePiece では「メ/イ/ク」と分割されている。一方で, $32 \mathrm{~K}$ の語彙をもとに提案手法で $16 \mathrm{~K}$ 単語を選択した場合は「メイク」という単語が含まれているため, 分割に使用することができている。この結果は，提案手法を用いた素性選択がタスクを考慮したものであることを示唆している。

これらの事例より提案手法は英語, 中国語, 日本語において, 後段タスクに応じて適切な単語分割を獲得していることが確認された.

## 4.3 PMI を用いた素性選択との関係

本研究は後段タスクに対して適切な語彙を選択するという側面において，これまでの自然言語処理で研究されてきた素性選択との関わりが深い。本節ではレビューデータを用いた実験を通して，文書分類のタスクにおけるラベルと単語の PMI を用いた素性選択手法 (Sebastiani 2002; Church and Hanks 1990)に関する比較を行う.

まず提案手法による文書分類の性能と，PMI を用いて素性選択を行う手法の文書分類の性能を比較する．PMI を用いた素性選択では，以下の二つの指標で単語とラベルの共起スコアを計算した (Xu et al. 2007).

$
\begin{aligned}
\operatorname{PMI}(w, l) & =\log \frac{p(l \mid w)}{p(l)} \\
\operatorname{PMI}_{\text {max }}(w) & =\max _{l \in L} \operatorname{PMI}(w, l) \\
\operatorname{PMI}_{\text {ave }}(w) & =\sum_{l \in L} p(l) \operatorname{PMI}(w, l)
\end{aligned}
$

ここで $w$ は単語， $l$ は文書分類のラベル集合 $L$ に含まれるラベルである。また, PMI のスコアは学習データ中の全ての文字 N-gram を対象として計算する。実験では SentencePiece で学習した $32 \mathrm{~K}$ の語彙に含まれる単語について $\mathrm{PMI}_{\max }(w)$ と $\mathrm{PMI}_{\mathrm{ave}}(w)$ を計算し，それぞれの指標でスコアの高い上位 $16 \mathrm{~K}$ 単語を選択した。ただし未知文字を防ぐために，長さが 1 の単語は必ず語彙に含まれるように選択を行った。さらに，選択した語彙をもとにEM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Kudo and Richardson 2018)を用いて単語の出現確率を推定し, サブワード正則化を用いた文書分類の学習を行った。文書分類の学習には， 3 章の実験で用いた BiLSTM エンコーダーによる分類器を使用し，その結果を表 6 に示した。結果より，SentencePiece で作成した語彙から PMI を用いて素性選択を行う手法の性能は, SentencePieceの $16 \mathrm{~K}$ 語彙を用いた手法や提案手法の性能を下回っている。ここから，PMIのみを用いた素朴な素性選択に比べて SentencePiece を用いた言語モデルベースでの素性選択や，提案手法によるモデルのパラメータを考慮した語彙の選択が性能向上に寄与することがわかった.

表 6 SentencePieceによる $32 \mathrm{~K}$ 語彙から PMI を用いて16K 単語を素性選択した手法と, SentencePiece による単語分割手法, 提案手法のレビューデー夕における文書分類での実験結果.

表 7 SentencePiece と提案手法それぞれの単語分割において，単語分割済み文中に含まれる単語のうち正解ラベルとの PMI が最も高い単語の PMI スコアの平均，数値が高いほど，正解ラべルに特徴的な単語を多く含む単語分割であることを表す。

次に, SentencePiece を用いた単語分割と提案手法による単語分割を PMI の観点から比較する.正解ラベルとの PMI が高い単語が含まれているかどうかは，その単語分割が文書分類タスクに対して適切なものであるかを測る指標になると考えられる。そこで，ある文 $s$ を単語分割した $s^{\prime}$ に含まれる単語のうち, 最もその文の正解ラベル $l$ との PMI が高い単語の PMI スコアの平均, $\frac{1}{|D|} \sum_{s^{\prime} \in D} \max _{w \in s^{\prime}} \operatorname{PMI}(w, l)$ を用いて, SentencePiece と提案手法の単語分割を比較する. ここで $D$ は単語分割済みの学習データである。このスコアが高いほど，単語分割済みの文が正解ラベルに特徴的な単語を含んでいることを示す. SentencePiece と提案手法それぞれの単語分割についてこのスコアを計算した結果を表 7 に示した．表より，提案手法による単語分割は SentencePiece に比ベてこのスコアの値が高く, 各文の正解ラベルに特徴的な単語を用いた単語分割が行えていることが確認された。

これらの検証結果から，言語モデルベースの SentencePiece や提案手法に比べて, PMI のみを用いた素性選択手法は性能向上に貢献しないことが分かった. 一方で, 提案手法は SentencePiece の単語分割に比べて, 正解ラベルとの PMI が高くなるような単語を用いた単語分割を学習できていることが分かった. ここから，提案手法は SentencePiece による言語モデルベースの素性選択の性質を残しつつ，正解ラベルとの関係が深い素性を選択することで，性能の向上が得られていると考えられる。

## 4.4 ハイパーパラメータによる影響

本研究では提案手法の OpTok について, 語彙の大きさの制限と $N$-best 分割, 言語モデルの性質の維持について三つのハイパーパラメータを導入した。本節では, これらのハイパーパラメータが性能に与える影響について，感情分析タスクを用いて分析する。

図 5a は制限付き語彙の大きさが各言語の性能に与える影響について報告したものである。制限付き語彙の大きさを本来の語彙に対して $25 \%, 50 \%$ （デフォルトの実験設定）, $75 \%, 100 \%$ と変化させ，感情分析タスクにおける性能の変化を分析した，図では 5 回の試行による平均 $\mathrm{F} 1$ 値について, 表 3 で報告した値からの差を示した. 図より, 語彙の大きさを $50 \%$ に縮小する設定が日本語と英語において最も性能が高く，語彙を制限することで提案手法の性能が向上することが確認され

- - - Weibo(Zh) - - Twitter(Ja) - - Twitter(En)

(a) 制限付き語彙の大きさによる性能の差

(b) $N$ による性能の差

図 5 提案手法で用いる語彙の大きさ $\left|V^{\prime}\right|$ と分割候補の数 $N$ を異なる値にした時の性能. 表 3 で報告した感情分析タスクの F1 值からの差を示す.

た。一方で，図より制限付き語彙の大きさを小さくするほど，中国語での性能が低下することが示された。結果より Weibo $(\mathrm{Zh})$ データセットにおいて， $32 \mathrm{~K}$ の大きさを持つ本来の語彙のうち全体 (100\%) を用いることで F1 値が 93.14 に到達することがわかった。これは表 3 で報告した OpTok の F1 値よりも 0.32 高い数値である。この結果は, 中国語のように文字種が非常に多い言語において，語彙の大きさを制限することで後段タスクを解くための有用な単語を語彙に含めることができず，学習と評価の双方で未知語を多く発生させてしまうことに起因すると考えられる，中国語に関するこの分析は, 既存研究で報告されている分析とも合致する (Hiraoka et al. 2019).

図 5bは OpTokのハイパーパラメータのうち, 単語分割候補の数を表す $N$ が感情分析タスクに与える影響を示している。図より全ての言語において $N=3$ を用いる設定が最も性能が高く, $N$ を大きくすることで性能が低下する傾向にあることが示された．提案手法を用いた学習では $N$-best に含まれる全ての単語分割を用いてエンコーダーと後段モデルを学習する一方で, 評価時には 1-best 分割を用いるという学習と評価時のギャップが，この傾向を引き起こしていると考えられる。より大きな $N$ を設定することで，文書分類のための後段モデルである MLP は複数の単語分割についての文べクトルの重み付き和を用いて学習を行う。一方で評価時には 1-best の単語分割による文べクトルのみが入力され, このギャップのために性能が低下すると考えられる。

2.5 節では OpTok で獲得される言語モデルの性質を維持するためのハイパーパラメータ $\mu$ を導入した，大きい $\mu$ を設定することで，式 (8)における言語モデルの性質を保つための損失值 $\mathcal{L}_{s}^{\operatorname{lm}}$ が学習に与える影響が大きくなり, OpTokのニューラルユニグラム言語モデルはコーパスに含まれる単語の頻度を反映したものになる． 3 章の実験では提案手法の効果を調べるために $\mu=0$ と設定していたが，本節では異なる $\mu$ を設定することで言語モデルの性質が維持されることと，これが感情分析タスクに与える影響を調べる。図 $6 \mathrm{a}$ は異なる $\mu$ を用いて学習した OpTok を用いて学習データを1-best 分割し，そのパープレキシティを示したものである。より大きな $\mu$ を用いること

(a) $\mu$ によるパープレキシティの差

(b) $\mu$ による性能の差

図 6 提案手法において, 言語モデルの性質を維持するための損失値の重み $\mu$ による性能の差と, 学習デー 夕のベスト分割に対するパープレキシティの差.

でパープレキシティが下がる傾向にあることが確認され, OpTokのニューラルユニグラム言語モデルが学習データにおける単語の出現頻度を反映したものになっていることがわかる。また，中国語，日本語，英語において，異なる $\mu$ を用いて学習したモデルの性能を図 $6 \mathrm{~b}$ に示した，図では，表 3 で報告した値 $(\mu=0)$ からの差を示している。結果より，言語モデルの性質を保つことが性能に与える影響は言語ごとに異なることがわかる。 中国語と日本語では，適切な $\mu$ を設定することで性能の向上が見られ， $\mu$ が大きすぎる場合には性能が低下することが確認された。一方で英語では $\mu$ の値による一貫した傾向は見られなかった。こうした $\mu$ による性能の差は, 各言語間にある単語分割の曖昧性の差によって引き起こされていると考えられる。中国語と日本語は単語境界を明示しないため単語分割の曖昧性が大きく, 同じ文字列が異なる文脈に現れることが多い. そのため, 適切に $\mu$ を選択して言語モデルの性質を保持することで極端なスコアを持つ単語が減り, 単語分割に一貫性が得られるために性能が安定すると考えられる。一方で英語は事前にスペース記号で単語境界を明示する言語であるため単語分割の曖昧性が小さく, 言語モデルの性質を保持することによる影響が少ないと考えられる。

## 4.5 BERT への応用

大規模なコーパスを用いて事前学習を行った言語モデルを活用した自然言語処理に関する研究が多く手掛けられている。こうした事前学習済みの言語モデルは文べクトルを出力するエンコーダー として使用することができ，提案手法のエンコーダーとして使用することができる．本節では，多くの自然言語処理のタスクで性能の向上が報告されている BERT(Devlin et al. 2018)について，提案手法を適用し Twitter(En)と Genre\&Rating(En) データセットでの評価を行う.

3 章での実験設定のうち, 提案手法に用いるニューラルエンコーダーを BERTへと変更し, 同様

表 8 英語で記述されたデータセットにおける $\mathrm{BERT}_{\text {base }}$ を用いた実験結果（F1 値）。手法間での最高値を太字で示した.

の実験を行う，本実験で使用する BERT モデルとして， HuggingFace ${ }^{10}$ が配布している BERT base を利用した，前述の実験と同様に単語分散表現のみを固定し，その他のパラメータを fine-tune する. BERT $_{\text {base }}$ のために用意されているトークナイザは WordPiece に基づいており，最長一致アルゴリズムでの単語分割を前提としているため各単語の確率は配布されていない。そこで本実験では EM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Kudo and Richardson 2018) を用いて，配布されている語彙に含まれる単語の確率を各データセットの学習データについて推定し, これを提案手法のニューラルユニグラム言語モデルの初期値とした. 配布されている $\mathrm{BERT}_{\text {base }}$ の語彙には各データセットに出現しない単語が多く含まれており，制限付き語彙を使用することで

のパラメータの fine-tune については AdamW (Loshchilov and Hutter 2017)を用い, OpTok に含まれるニューラルユニグラム言語モデルのパラメータについては Adamによる更新を行う.

致アルゴリズムを用いて WordPieceでの分割を行ったデータを用いている。+Sampling tokenization による実験では，上述したEM アルゴリズムによる単語確率の推定値を用いて， SentnecePiece によるサブワード正則化と同様に確率的な単語分割を用いた学習を行った。

実験結果より，事前学習済みの BERT を用いることで表 3 で報告した値に比べ，どのデータセットでも性能が向上することが確認された。 さらに，提案手法である OpTok に BERT を組み込むことで，オリジナルの BERT や確率的な単語分割を用いて学習する手法の性能を上回ることがわかった. 以上の結果から，OpTok は自然言語処理で広く使われている事前学習モデルを組み达んだモデルであっても，単語分割を最適化することで性能の向上に寄与することが示された.

## 5 関連研究

ニューラルネットワークを用いた自然言語処理において，単語分割の観点から処理性能の向上を目指す研究は数多く手掛けられてきた。単語分割に起因する処理性能の低下を防ぐ方法として, 複

数の単語分割を同時に使用する手法が挙げられる。ニューラルネットワークを用いた枠組みにおいては，LSTM の系列処理をラティス状に拡張することで，複数の単語分割を入力として受け取る手法が提案されている (Chen et al. 2017; Zhang and Yang 2018; Yang et al. 2018). これにより,様々な単語分割の可能性を同時に考慮しながら夕スクの学習が可能となり，中国語の教師あり単語分割タスクや固有表現抽出タスクで性能の向上が報告されている。また, Transformer の枠組みで単語分割の複数の可能性をラティスとして考慮する手法も提案されており, 中英翻訳タスク (Xiao et al. 2019) や中国語の固有表現抽出タスク (Li et al. 2020a) での性能向上が報告されている. これらの手法は複数の単語分割候補を同時に使用することで，決定的な単語分割の失敗による性能低下を防ぐことができる.

確率的な単語分割を行うサブワード正則化 (Kudo 2018; Kudo and Richardson 2018) では, 学習エポックごとに単語分割を言語モデルにしたがってサンプリングすることで複数の単語分割候補を用いたモデルの学習を行う。これにより，一つの学習事例を複数の単語分割を用いて学習するデー 夕拡張として性能の向上に繋がるだけでなく, 未知の文字列に対してもロバストなモデルを学習することが可能である. SentencePiece によるサブワード正則化を用いることで，ニューラル機械翻訳の複数の言語対において性能の向上が得られることが報告されている. BPE-dropoutによるサブワード正則化では，Byte Pair Encoding を用いたサブワード分割におけるトークンの結合処理をランダムにスキップすることで，複数の単語分割候補を生成する (Provilkov et al. 2019). 言語モデルを用いずに単語分割のサンプリングを行うことで，より多くの単語分割候補を用いてモデルを学習することができ，機械翻訳タスクにおける性能の向上が報告されている．また，教師なし単語分割手法をサブワード正則化に組み迄むことで，学習が進むに従って確率的な単語分割から決定的な単語分割へとスケジューリングし，学習性能を安定させる手法も提案されている (Hiraoka et al. 2019).

タスクに対して最適な単語分割を求める試みは, 主に機械翻訳分野において研究されてきた。 アラインメントモデルのようにシンプルな機械翻訳手法を基準としてソース言語とターゲット言語の単語分割を決定することで，より複雑な機械翻訳モデルにおいても性能向上が見られることが報告されている (Xu et al. 2008; Chung and Gildea 2009; Nguyen et al. 2010; Mermer et al. 2013).近年の研究では，ニューラル機械翻訳における単語分割の最適化が試みられている. Incremental BPE は, Byte Pair Encoding によるサブワード分割の適切な分割粒度を，ニューラル機械翻訳器の損失値を用いて自動決定する手法である (He et al. 2020). Dynamic Programming Encoding による単語分割では, Seq2Seq モデルを用いた文字列から単語列への変換手法 (Chan et al. 2016)を拡張し, ソース言語からターゲット言語を出力する上でより適切な単語分割を選択する手法を提案した (He et al. 2020). 我々の研究はこれらの既存研究と比較し, 様々なニューラルエンコーダー に適用可能である点と, 後段タスクに対する学習損失值からの誤差逆伝搬のみを用いて, 人手で設定した基準を用いず直接的に単語分割を後段タスクに対して最適化するという点で異なっている.

また工藤 (2005) では，形態素解析器による単語分割の確率を用いて Bag-of-Wordsベクトルの重みづけを行うことでテキスト分類タスクの性能向上を報告している。提案手法はニューラルネットワークを用い，単語分割の確率そのものをタスクとモデルに対して最適化するという点において， この手法を拡張したものであると捉えることができる。

## 6 おわりに

本稿では，後段タスクに対して単語分割を最適化する手法であるOpTokを提案した．OpTokを後段モデルに接続し, 一般的な後段タスクの学習と同様にパラメータを更新することで, 後段タスクを解く上で有用な単語分割が学習される。実験結果より，提案手法は後段タスクに応じて適切な単語分割を獲得し, 複数の言語における文書分類において性能の向上に起用することが確認された. また，提案手法の分析を通して，OpTokを用いることで後段タスクを学習するための損失関数のみを用いて単語分割の最適化を行うことができ，これが性能の向上をもたらすことを示した。 さらに英語のデータセットでは OpTok に BERT を組み込むことによる性能の向上を確認し，大規模コー パスで事前学習された言語モデルを用いた自然言語処理についても，提案手法が適用可能であることを示した。

提案手法は文べクトルを使用する様々な自然言語処理に適用することができるが，系列ラベリングや生成を伴うタスクに使用することは難しい，今後の研究では，単語の生成を伴うタスクに対しても提案手法を適用できるように拡張を施し，機械翻訳タスクや文書要約タスクでの実験と分析を行う。

## 謝 辞

本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究により得られたものです.また本論文の内容の一部は Findings of ACL: EMNLP 2020 に採択されたものです (Hiraoka et al. 2020).

## 参考文献

A, P. and Augenstein, I. (2020). "2kenize: Tying Subword Sequences for Chinese Script Conversion." arXiv preprint arXiv:2005.03375.

Bollegala, D., Kiryo, R., Tsujino, K., and Yukawa, H. (2020). "Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction." arXiv preprint arXiv:2002.11004.

Bowman, S., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Chan, W., Zhang, Y., Le, Q., and Jaitly, N. (2016). "Latent Sequence Decompositions." arXiv preprint arXiv:1610.03035.

Chen, X., Shi, Z., Qiu, X., and Huang, X. (2017). "DAG-based Long Short-Term Memory for Neural Word Segmentation." arXiv preprint arXiv:1707.00248.

Chung, T. and Gildea, D. (2009). "Unsupervised Tokenization for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 2-Volume 2, pp. 718-726. Association for Computational Linguistics.

Church, K. and Hanks, P. (1990). "Word Association Norms, Mutual Information, and Lexicography." Computational linguistics, 16 (1), pp. 22-29.

Deligne, S. and Bimbot, F. (1995). "Language Modeling by Variable Length Sequences: Theoretical Formulation and Evaluation of Multigrams." In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 169-172. IEEE.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv preprint arXiv:1810.04805.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2006). "Contextual Dependencies in Unsupervised Word Segmentation." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics, pp. 673-680. Association for Computational Linguistics.

Grave, E., Joulin, A., and Usunier, N. (2016). "Improving Neural Language Models with a Continuous Cache." arXiv preprint arXiv:1612.04426.

He, H. and Sun, X. (2017). "F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 713-718.

He, X., Haffari, G., and Norouzi, M. (2020). "Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation." arXiv preprint arXiv:2005.06606.

Hiraoka, T., Shindo, H., and Matsumoto, Y. (2019). "Stochastic Tokenization with a Language Model for Neural Text Classification." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Lin-
guistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics. Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Jang, E., Gu, S., and Poole, B. (2016). "Categorical Reparameterization with Gumbel-softmax." arXiv preprint arXiv:1611.01144.

Kawakami, K., Dyer, C., and Blunsom, P. (2017). "Learning to Create and Reuse Words in OpenVocabulary Neural Language Modeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1492-1502.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

工藤拓 (2005). 形態素周辺確率を用いた分かち書きの一般化とその応用. 言語処理学会全国大会論文集 NLP-2005. [T. Kudo (2005). Keitaiso Shuhen Kakuritsu o Mochiita Wakachi-Gaki no Ippan-ka to Sono Ouyou. Proceedings of the 11th Annual Meeting of the Association for Natural Language Processing].

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //taku910.github.io/mecab/.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Lafferty, J. D., McCallum, A., and Pereira, F. C. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In ICML.

Li, X., Yan, H., Qiu, X., and Huang, X. (2020a). "FLAT: Chinese NER Using Flat-Lattice Transformer." arXiv preprint arXiv:2004.11795.

Li, X., Sun, X., Meng, Y., Liang, J., Wu, F., and Li, J. (2020b). "Dice Loss for Data-imbalanced NLP Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 465-476, Online. Association for Computational Linguistics.

Liang, P. and Klein, D. (2009). "Online EM for Unsupervised Models." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 611-619.

Loshchilov, I. and Hutter, F. (2017). "Decoupled Weight Decay Regularization." arXiv preprint arXiv:1711.05101.

Mermer, C., Saraclar, M., and Sarikaya, R. (2013). "Improving Statistical Machine Translation using Bayesian Word Alignment and Gibbs Sampling." IEEE Transactions on Audio, Speech, and Language Processing, 21 (5), pp. 1090-1101.

Mochihashi, D., Yamada, T., and Ueda, N. (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1-Volume 1, pp. 100-108. Association for Computational Linguistics.

Nagata, M. (1994). "A Stochastic Japanese Morphological Analyzer using a Forward-DP Backward-A* N-best Search Algorithm." In Proceedings of the 15th conference on Computational linguistics-Volume 1, pp. 201-207. Association for Computational Linguistics.

Nguyen, T., Vogel, S., and Smith, N. A. (2010). "Nonparametric Word Segmentation for Machine Translation." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 815-823. Association for Computational Linguistics.

Peng, N. and Dredze, M. (2015). "Named Entity Recognition for Chinese Social Media with Jointly Trained Embeddings." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 548-554.

Peng, N. and Dredze, M. (2016). "Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 149-155.

Provilkov, I., Emelianenko, D., and Voita, E. (2019). "BPE-Dropout: Simple and Effective Subword Regularization." arXiv preprint arXiv:1910.13267.

Rakuten, Inc. (2014). "Rakuten Dataset." Informatics Research Data Repository, National Institute of informatics. (dataset). https://doi.org/10.32130/idr.2.0.

Sebastiani, F. (2002). "Machine Learning in Automated Text Categorization." ACM computing surveys (CSUR), 34 (1), pp. 1-47.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for

Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. P1715-1725.

Tran, K. M., Bisk, Y., Vaswani, A., Marcu, D., and Knight, K. (2016). "Unsupervised Neural Hidden Markov Models." In Proceedings of the Workshop on Structured Prediction for NLP, pp. 63-71.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE transactions on Information Theory, 13 (2), pp. 260-269.

Xiao, F., Li, J., Zhao, H., Wang, R., and Chen, K. (2019). "Lattice-based Transformer Encoder for Neural Machine Translation." arXiv preprint arXiv:1906.01282.

Xu, J., Gao, J., Toutanova, K., and Ney, H. (2008). "Bayesian Semi-supervised Chinese Word Segmentation for Statistical Machine Translation." In Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1, pp. 1017-1024. Association for Computational Linguistics.

Xu, Y., Jones, G. J., Li, J., Wang, B., and Sun, C. (2007). "A Study on Mutual Informationbased Feature Selection for Text Categorization." Journal of Computational Information Systems, 3 (3), pp. 1007-1012.

Yang, J., Zhang, Y., and Dong, F. (2017). "Neural Word Segmentation with Rich Pretraining." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 839-849.

Yang, J., Zhang, Y., and Liang, S. (2018). "Subword Encoding in Lattice LSTM for Chinese Word Segmentation." arXiv preprint arXiv:1810.12594.

Zhang, Y., Zhang, M., Zhang, Y., Lai, G., Liu, Y., Zhang, H., and Ma, S. (2015). "Daily-aware Personalized Recommendation Based on Feature-level Time Series Analysis." In Proceedings of the 24th International Conference on World Wide Web, pp. 1373-1383.

Zhang, Y. and Yang, J. (2018). "Chinese NER Using Lattice LSTM." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1554-1564.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科卒業, 修士 (工学). 同年 4 月より東京工業大学情報理工学院博士後期課程に在学中. 言語処理学会, ACL 各会員.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了.博士 (情報科学)。NTTコミュニケーション科学基礎研究所でのリサーチアソ

シエイト, 東京工業大学での研究員を経て, 2020 年 4 月より東京工業大学助教.自然言語処理の研究に従事. 言語処理学会, ACL 各会員.

内海慶：2006 年筑波大学大学院図書館情報学メディア研究科博士前期課程修了. 修士 (情報学). 同年 2013 年ヤフー株式会社にて自然言語処理の研究開発に従事. 2013 年株式会社デンソーアイティーラボラトリ入社. 2021 年現在, 同社在職中. 自然言語処理の研究に従事. 言語処理学会会員

欅惇志: 株式会社デンソーアイティーラボラトリアソシエイトリサーチャ. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2012 2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフト・リサーチアジアリサーチインターン． 2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. ACM, 電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

岡崎直観: 2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.

