# 後段モデルの損失値を用いた単語分割のタスクへの最適化

平岡達也 ${ }^{\dagger}$, 高瀬翔 $\dagger$, 内海慶 ${ }^{\ddagger}$, 欅惇志 $\ddagger$, 岡崎直観 $\dagger$
†東京工業大学‡デンソーアイティーラボラトリ
\{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp
\{kuchiumi, akeyaki\}@d-itlab.co.jp

## 1 はじめに

単語分割は自然言語処理の性能に影響を与える 重要な処理である．単語分割にはルールベースの手法 [1] や辞書を用いた手法 [2]，教師なしの手法 [3,4] が用いられており，単語分割の違いが後段タスクの 性能の差に繋がることがわかっている $[5,6,7,8]$. しかし，ある単語分割が後段タスクに適切かどうか は，実際に分割済みのコーパスで後段モデルを学習 し性能を評価するまで分からないため，適切な単語分割を人手で選択することは難しい。

近年では，後段タスクに応じて単語分割を自動 で最適化する手法が研究されている. IncrementalBPE [9] やDPE [10] は, 機械翻訳タスクの性能向上に 繋がるような単語分割を求める手法である。また， OpTok [11] は文書分類タスクにおいて，End-to-End に単語分割を最適化する手法である。しかし，これ までの研究は機械翻訳や文書分類のように想定タス クが限定されており，あらゆる後段タスクに適用可能な単語分割の最適化手法は存在していない.

そこで本稿では，ニューラルネットワークを用い たさまざまな後段タスクに適用可能な単語分割の最適化手法を提案する. 提案手法は後段タスクの学習 に用いるモデル (後段モデル) に単語分割器を組み 合わせ，両者を同時に学習する。これにより，提案手法は学習コーパスや単語分散表現，モデルのパラ メータなどのタスクに関わるあらゆる要素を考慮し た単語分割の Emd-to-End な学習が可能である.

本稿では 3 言語での文書分類タスクにおける実験 を通して，提案手法が既存手法である OpTokを上回 る性能であることを確かめた。 また，複数言語対で の機械翻訳タスクにおける実験でも，提案手法は既存手法のDPE を上回る性能であり，提案手法が複数の後段タスクに適用可能な単語分割の最適化手法 であることが確かめられた。

## 很好吃

図 1: 提案手法による NULM と後段モデルの学習の 概要. 実線矢印は誤差逆伝播を行うパスを示す.

## 2 提案手法

提案手法の単語分割では，ニューラルユニグラム 言語モデル (NULM) によって計算した単語のユニグ ラム確率 $p(w)$ を用いて，文 $s$ を語彙 $V$ に含まれる 単語 $w$ の系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に変換する。 $p(w)$ をも とに求めた $N$-best $の$ 単語分割候補 $s_{1}^{\prime}, \ldots, s_{N}^{\prime}$ を後段 モデルに入力し，それぞれの出力に対応する損失值 に単語分割の確率を掛け合わせることで損失値の 重み付き和を計算する。この損失值に対して誤差逆伝播法を用いることで，損失值が低くなるような単語分割の確率が高くなるように NULM のパラメー タを更新する．また，後段モデルの学習には NULM をもとに単語分割を一つサンプリングして用いるこ とで，サブワード正則化による学習を行う．手法の 概要を図 1 に示した.

## $2.1 N$-best 単語分割による NULM の更新

提案手法の NULM では，以下のように単語分散表現 $\boldsymbol{v}_{w}$ を用いて単語のユニグラム確率を計算する。

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)} .
\end{aligned}
$

入力文 $s$ に含まれるあらゆる単語の確率 $p(w)$ に対して Forward-DP Backward-A*アルゴリズム [12] を適用し, 入力文の $N$-best $の$ 単語分割候補を求 める. さらに，それぞれの単語分割候補の確率 $p\left(s_{n}^{\prime}\right)=\prod_{w \in s_{n}^{\prime}} p(w)$ を用いて, 各単語分割候補に対応する後段モデルの損失值 $\mathscr{L}_{s_{1}^{\prime}}, \ldots, \mathscr{L}_{s_{N}^{\prime}}$ を以下のよ うに重み付ける。

$
\begin{aligned}
\mathscr{L}_{s_{n}^{\prime}} & =q\left(f\left(s_{n}^{\prime}\right), z\right), \\
a_{n} & =\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)}, \\
\mathscr{L}_{s} & =\sum_{n=1}^{N} a_{n} \mathscr{L}_{s_{n}^{\prime}} .
\end{aligned}
$

ここで $f(\cdot)$ は単語分割済みの文を入力とし，後段タ スクに応じた出力を計算する後段モデルである。ま た, $q(\cdot)$ は後段モデルの出力と教師信号 $z$ を用いて 損失値を計算する損失関数である。後段タスクが文書分類であれば， $f(\cdot)$ は各文書ラベルに対応する確率分布を出力し, $q(\cdot)$ は正解ラベルとの交差エント ロピー損失を出力する.このような損失値の重み付 き和に対して誤差逆伝播法を適用することで，その 時点で損失值が最も低い単語分割の確率が向上する ように NULM の更新が行われる。

式 (3) に用いる $q(f(\cdot), \cdot)$ は, 単語の系列と教師信号を入力として損失値を出力するモデルであればよ いので，提案手法は文書分類や機械翻訳などの様々 な後段タスクに適用可能である。また，学習済みの NULM を用いてビタビアルゴリズム [13] による単語分割を行うことで，推論時には後段タスクに適切 な単語分割を使用することができる.

## 2.2 後段モデルの更新

式 (5) で計算した $\mathscr{L}_{s}$ に対して単純に誤差逆伝播法を適用すると，後段モデルを計算グラフを繋いだ 状態で $N$ 個同時に計算することになり，メモリ使用量が莫大になる. そこで図 1 に示すように， $\mathscr{L}_{s}$ を用いた後段モデルのパラメータ更新は行わず，新 たに単語分割 $\tilde{s}^{\prime}$ をひとつサンプリングして後段モ
デルの学習に用いる. 具体的には， $\mathscr{L}_{\tilde{s}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), z\right)$ に対して誤差逆伝播法を適用することで，後段モデ ルの更新を行う。これにより，提案手法では学習途中の NULM のパラメータを用いたサブワード正則化 $[14,15]$ による後段モデルの学習を行う.

単語分割 $\tilde{s}^{\prime}$ を選択するために，NULM による単語のユニグラム確率を用いて $p\left(\tilde{s}^{\prime}\right)^{\alpha} / \sum_{k=1}^{K} p\left(s_{k}^{\prime}\right)^{\alpha}$ か らサンプリングを行う [14]. ここで $\alpha$ は分割の多様性を制御するハイパーパラメータであり， $\alpha$ が小さ いほど一様な分布から単語分割をサンプリングする 事になる。また，Kはサンプリングの対象となる単

Filtering Backward Sampling (FFBS) [16, 17] を用いた サンプリングを行う.

## 2.3 複数文の入力を用いた学習

機械翻訳タスクのソース側文とターゲット側文の ように入力が複数となる場合には，一方の $N$-best 単語分割候補と他方のサプリングされた単語分割候補 を組み合わせることで，NULM を更新するための 損失値を計算する。つまり，複数入力のうち 1 つは $N$ 個の候補を用い，その他はサンプリングした 1 つ の候補を用いて計算する。具体的にソース側文 $s$ と ターゲット側文 $t$, それぞれの単語分割済み文を $s^{\prime}$, $t^{\prime}$ としたとき, $\mathscr{L}_{s_{n}^{\prime}}=q\left(f\left(s_{n}^{\prime}\right), \tilde{t}^{\prime}\right)$ と $\mathscr{L}_{t_{n}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), t_{n}^{\prime}\right)$ によってソース側とターゲット側の NULM を更新 する。また，後段モデルである機械翻訳モデルの学習には $\mathscr{L}_{\tilde{s}^{\prime}, \tilde{t}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), \tilde{t}^{\prime}\right)$ を用いる.

## 3 実験

## 3.1 文書分類

提案手法の有効性を確かめるために複数言語の文書分類タスクで実験を行い，その結果を表 1 に示し た. Weibo(Zh) $)^{1)}, \operatorname{Twitter}(\mathrm{Ja})^{2}$ ， Twitter(En) ${ }^{3}$ はそれぞ れ中国語，日本語，英語の SNS コーパスを用いた 感情分析タスクである。また, Genre, Rating タスク は中国語 [18] ${ }^{4}$ ，日本語 [19]，英語 [20] ${ }^{5}$ の各言語の EC サイトのレビューデータから作成したジャンル 予測とレート予測のタスクである。さらに複数文を

表 1: 文書分類タスクでの実験結果 (F1 値).

入力とするタスクとして，SNLI データセット [21] での実験を行なった。

文書分類タスクでの実験設定は既存研究 [11] と揃 え6，BiLSTM エンコーダーによる文書分類器をサ ブワード正則化を用いて学習した。単語分散表現は 各コーパスの訓練データで事前学習し, 文書分類の 学習時には固定した。また，比較手法である OpTok と提案手法の語彙の初期化には, SentencePiece によ る同じ単語分割を使用し，単語分割の最適化につい てのハイパーパラメータは $N=3$ とした.

表 1 の実験結果より提案手法はほとんどのデータ セットで OpTokを上回っており, 既存手法に比べて 性能が同等かそれ以上であることが確かめられた。 この性能の差は, OpTok と提案手法における後段 モデルの学習方法の違いに起因すると考えられる。 OpTok は $N$-best の単語分割候補を用いて後段モデル を学習するが，推論時には 1-best の単語分割が後段 モデルに入力されるため，学習と推論でギャップが 生じてしまう。一方で提案手法による後段モデルの 学習ではサンプリングされたひとつの単語分割候補 のみを用いているため，学習と推論に差が生まれず 性能の向上に繋がっていると考えられる.

## 3.2 機械翻訳

提案手法の機械翻訳タスクでの有効性を確かめ るために IWSLT と WMT コーパスを用いた実験を 行い，その結果を表 2 に示した. IWSLT コーパス での実験には Transformer(small) [22]を使用し，全て の言語の語彙の規模を $16 \mathrm{~K}$ として SentencePiece で 単語分割を行なった. WMT コーパスでの実験では Transformer(base) を使用し，語彙の規模を $32 \mathrm{~K}$ とし た. サブワード正則化に関するハイパーパラメータ

6）実験に使用したデータセットの詳細と，単語分散表現， SentencePiece の学習済みモデルを以下で公開している. https://github.com/tatHi/optok表 2: IWSLT(I) と WMT(W) コーパスを用いた機械翻訳タスクでの実験結果 (BLEU4)．エンコーダーとデ コーダーで使用した単語分割手法をそれぞれ Enc， Decとして示した.また，SPは SentencePiece，R は サブワード正則化を示す.

は $k=\infty ， \alpha$ は IWSLT:0.2，WMT:0.5 とした.また，提案手法で用いる単語分割の候補数 $N$ は, IWSLT: 8, WMT: 3 とした. 比較手法としてターゲット側言語の単語分割を最適化する DPE [10] を用いる。DPE による単語分割の学習には SentencePiece による単語分割を初期状態として用い，機械翻訳はソース側言語でサブワード正則化を用いた学習を行なった. また，提案手法の語彙の初期化にも SentencePiece に よる単語分割を使用した。コーパスは Moses）（中国語のみ jieba ${ }^{8)}$ ) で事前に単語分割を施してから SentencePiece の学習を行った。機械翻訳の評価には デトークナイズ後の BLEU4 值を用いた.

表 2 の結果より，多くの言語対での実験において 提案手法を用いた学習の性能が既存手法を上回る ことが確認され，提案手法の有効性が示された．特 に，デコーダーのみに提案手法を適用した設定が多 くの場合でもっとも性能が高く，ほとんどの言語で エンコーダーとデコーダーの双方に提案手法を用い たときの性能が低くなっている。ここから，ソース 側言語とターゲット側言語の単語分割の最適化を同時に行うことが難しく，性能の低下につながってい ると考えられる。両側の単語分割を同時に最適化す る方策についての追加実験を付録 A に掲載した。


## 4 分析

機械翻訳タスクで得られた提案手法の単語分割に ついて分析を行う. 英中対訳ぺアのうち中国語側を SentencePiece，英語側を提案手法で学習し，提案手法によって得られた単語分割を表 3 に示した.

提案手法によるソース側言語の単語分割 (表 3a) では, “hav-e” や “hour-s” のようにトークンの形態素 や接尾辞を細かく分割していることが確認される。 また，ターゲット側の単語分割（表 3b）では既存手法の DPE と同様に，動詞の接尾辞“-ed” を分割す る傾向が見られる。一方で DPE や提案手法による ソース側言語の単語分割とは異なり，ターゲット側言語を細かく分割する傾向は見られなかった.

IWSLTコーパスにおいて各手法で得られた単語分割と，初期状態である SentencePiece の単語分割と の学習データにおけるトークン数の割合を表 4 に 示した. 表において，1を超える値は SentencePiece に比べてトークン数が増加していることを表す. 結果より，提案手法でソース側言語の単語分割を学習 した場合は初期状態に比べてトークン数が増大し ており，提案手法がソース側言語を細かい単位で分割していることがわかる。これは，エンコーダーの ニューラルネットワークの表現力が豊かであるため に, 細かい単位で入力しても機械翻訳の性能が低下 しないことを示唆する. この傾向は, エンコーダー の入力を文字レベルにすることで性能向上が得られ るという既存研究の結果と合致する $[23,24]$.

また，英中翻訳以外の全ての言語対で，提案手法 によるターゲット側の単語分割は初期状態と比べて トークン数がわずかに少なくなっている。これは，提案手法が言語モデルベースの SentencePiece によ る単語分割の粒度を維持しつつ, デコードしやすい 単位に分割し直した結果であると考えられる. 英中翻訳ではターゲット側であっても，トークン数が大 きく増加している.これは中国語の 1 文字が持つ情報が他の言語に比べて多く, エンコーダー側の単語 の粒度と合わせるために細かく分割したと考えられ る. 比較手法である DPE は言語対ごとにターゲッ ト側のトークン数が変化しており, 提案手法との差 が見られる. DPE はソース側の単語分割を用いて ターゲット側の単語分割を決定するが，提案手法は ターゲット側の学習済みユニグラム言語モデルのみ を用いて単語分割を行うために単語分割の自由度が 低く, このような差が生まれていると考えられる。表 3: 英中ペアにて英語側の単語分割を最適化した 時の SentencePiece(SP) と DPE，提案手法の比較.

(a) 英中翻訳のソース言語の単語分割

(b) 中英翻訳のターゲット言語の単語分割

表 4: 学習データ全体で, 各手法で学習された単語分割のトークン数の初期状態に対する割合. 初期状態の単語分割は SentencePiece によるものである.

 &  &  &  \\

& En-De & 1.3809 & 0.9996 & 0.9923 \\

& En-Vi & 1.4650 & 0.9999 & 0.9923 \\
& Zh-En & 1.5175 & 0.9994 & 0.9907 \\
& En-Zh & 1.3516 & 1.4713 & 1.0346 \\

& En-Ar & 1.4765 & 0.9994 & 0.9945 \\
& Fr-En & 1.7194 & 0.9996 & 1.0001 \\
& En-Fr & 1.5996 & 0.9997 & 0.9935 \\

これらの分析から，提案手法は言語や後段モデル などの後段タスクの情報に応じて異なる単語分割を 学習していることが示唆される.

## 5 おわりに

本稿では，単語分割をタスクに応じて最適化する 手法を提案した. 提案手法では単語分割器を後段モ デルの学習に組み込むことで，タスクやモデルに応 じて単語分割を更新する．実験結果より，提案手法 は文書分類と機械翻訳の複数データセットで既存手法を上回る性能であり，その有効性を確認した．提案手法は損失値を用いて単語分割の更新を行うた め, 応用先はこれらのタスクに限らない. 今後は文法誤り訂正やスタイル変換などのタスクに提案手法 が有効であるかを検証する。

謝辞 本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化の ためのディープラーニング技術の研究開発」により 得られたものです.

## 参考文献

[1]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, et al. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th annual meeting of the ACL on interactive poster and demonstration sessions, pp. 177-180. Association for Computational Linguistics, 2007.

[2]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006.

[3]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. P1715-1725, 2016.

[4]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[5]Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1, pp. 1017-1024. Association for Computational Linguistics, 2008.

[6]Pi-Chuan Chang, Michel Galley, and Christopher D Manning. Optimizing chinese word segmentation for machine translation performance. In Proceedings of the third workshop on statistical machine translation, pp. 224-232, 2008.

[7]ThuyLinh Nguyen, Stephan Vogel, and Noah A Smith. Nonparametric word segmentation for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 815-823. Association for Computational Linguistics, 2010.

[8]Miguel Domingo, Mercedes Garcia-Martınez, Alexandre Helle, Francisco Casacuberta, and Manuel Herranz. How much does tokenization affect neural machine translation? arXiv preprint arXiv:1812.08621, 2018.

[9]Elizabeth Salesky, Andrew Runge, Alex Coda, Jan Niehues, and Graham Neubig. Optimizing segmentation granularity for neural machine translation. Machine Translation, pp. 119, 2020.

[10]Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[11]Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Coтputational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[12]Masaaki Nagata. A stochastic japanese morphological analyzer using a forward-dp backward-a* n-best search algorithm. In Proceedings of the 15th conference on Compu- tational linguistics-Volume 1, pp. 201-207. Association for Computational Linguistics, 1994.

[13]Andrew Viterbi. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, Vol. 13, No. 2, pp. 260-269, 1967.

[14]Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $66-75,2018$.

[15]Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[16]Steven L Scott. Bayesian methods for hidden markov models: Recursive computing in the 21 st century. Journal of the American Statistical Association, Vol. 97, No. 457, pp. $337-$ 351, 2002.

[17]Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda. Bayesian unsupervised word segmentation with nested pitman-yor language modeling. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1-Volume 1, pp. 100-108. Association for Computational Linguistics, 2009.

[18]Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Daily-aware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on world wide web, pp. 1373-1383, 2015.

[19]Rakuten Inc. Rakuten dataset. Informatics Research Data Repository, National Institute of informatics. (dataset)., 2014.

[20]Ruining He and Julian McAuley. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering. In proceedings of the 25th international conference on world wide web, pp. 507-517, 2016.

[21]Samuel Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, 2015.

[22]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 5998-6008, 2017.

[23]Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan, Aaron van den Oord, Alex Graves, and Koray Kavukcuoglu. Neural machine translation in linear time. arXiv preprint arXiv:1610.10099, 2016.

[24]Jason Lee, Kyunghyun Cho, and Thomas Hofmann. Fully character-level neural machine translation without explicit segmentation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 365-378, 2017.

## A 複数入力に対する同時最適化

3.2 節では，エンコーダー側とデコーダー側の両方の単語分割を提案手法で同時に最適化すること が性能の低下に繋がると説明した.これはエンコー ダー側とターゲット側で単語分割の方策に差があり (4 章), 単語分割の最適化が安定しないためだと考 えられる. そこで, 双方の単語分割の最適化を段階的に行うことで，両方の単語分割を最適化しつつ性能の低下を防ぐ方法を考える. 本研究の実験におけ る 100 エポックの学習の中で，1) エンコーダー側の 単語分割のみを前半 50 エポックで学習し, 後半は エンコーダー側の単語分割を固定してデコーダー側 の単語分割のみを学習する，2) 前半にデコーダー側 の単語分割を学習し, 後半でエンコーダー側を学習 する，3) 各ミニバッチ学習ごとにランダムにエン コーダー側とデコーダー側を選択して片方のみの単語分割を学習する，の3つの方策を実験する.

表 5 に示した実験結果より，1) エンコーダー側の 単語分割を先に学習し, その後デコーダー側の単語分割を学習する方策がもっとも高い性能であること が分かった. 特に Vi-En，En-Vi，Zh-En では表 2 の 数値を含めても最高性能に達しており, 方策 1 が優 れていることがわかる. また，表 4 で示したように エンコーダー側の単語分割は粒度が細かくなる傾向 があるため, 学習の後半で分割が大きく変わる方策 2 では性能が低下することが分かった。

表 5: 両側の単語分割を同時に最適化するための 各方策による，IWSLT15 での性能の差 (BLEU4). Both は表 2 の Ours-Ours の值を引用.

## B ハイパーパラメータの影響

提案手法では $N$ 個の単語分割候補を用いて NULM の最適化を行う。このハイパーパラメータ $N$ について，文書分類タスクと機械翻訳タスクの性能 に与える影響をそれぞれ図 2 と図 3 に示した. 図で は， 3 章での実験に用いた $N$ の値で得られた後段モ デルの性能との差を示す.

文書分類タスクでの実験では，Twitter と Weibo の 感情分析タスクを用いた性能の差を検証した．実験
より，文書分類タスクでは提案手法の $N$ の値による 大きな性能の差は見られなかった. 同様の実験を提案手法がベースとしている OpTok [11] で行った結果 と比較すると, 提案手法はハイパーパラメータ $N$ が大きくなっても，性能が落ちないことが確認され る. OpTok が $N$ 個の単語分割候補に対応する文べ クトルの重み付き和で後段モデルの学習を行うのに 対して，提案手法は $N$ の值にかかわらず 1 つの単語分割候補のみを用いて後段モデルの学習を行うため に，Nの影響を受けにくいと考えられる。

機械翻訳タスクでの実験では，IWSLT15 の越英翻訳ペアを用いて $N$ の影響を確認した．結果より， ターゲット側言語のみに提案手法を適用した場合は $N$ の值による性能の大きな差はなく，ソース側言語 のみに提案手法を用いた場合は $N$ を大きく取るこ とで性能が向上していることが確認された。これは 4 章での分析で述べたように，エンコーダーの表現力の高さのために初期状態から離れた単語分割候補 を用いることが性能向上に繋がり得ることに起因す ると考えられる。一方で，ソース側言語とターゲッ 卜側言語の双方に提案手法を適用する場合は $N$ を 大きくすることで若干の性能低下が見られる．性能低下の程度は小さいが，両側の言語の単語分割を同時に更新する場合は $N$ が大きくなることで学習が 不安定になると考えられる。

図 2: Nによる文書分類タスクの性能の差

図 3: Nによる機械翻訳タスクの性能の差
 平岡達也 ${ }^{\dagger}$, 高瀬翔 $\dagger$, 内海慶 ${ }^{\ddagger}$, 欅惇志 $\ddagger$, 岡崎直観 $\dagger$ †東京工業大学‡デンソーアイティーラボラトリ \{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp \{kuchiumi, akeyaki\}@d-itlab.co.jp  