# 単語の長さと構成要素を考慮した単語レベルの摄動

平岡 達也 ${ }^{1}$ 高瀬 翔 $^{1}$
内海 慶 ${ }^{2}$ 欅 惇志 ${ }^{2}$ 岡崎 直観 1
1 東京工業大学 2 デンソーアイティーラボラトリ
\{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp
\{kuchiumi, akeyaki\}@d-itlab.co.jp

## 概要

本稿では，単語置換による摂動のシンプルな改善手法として, 単語の長さを考慮した単語置換 （WR-L）と, 単語の構成要素を考慮した単語置換 （CWR）を提案する. WR-L では，置換対象の単語 の長さをもとにしたポアソン分布から置換後の単語 を選択する. CWRでは, 置換対象の単語の構成要素（部分文字列・重複文字列）加置換後の単語を 選択する. 評価実験により, WR-L と CWRが文書分類と機械翻訳の性能向上に寄与することを示す.

## 1 はじめに

単語置換による単語レベルの摂動は，自然言語処理で広く用いられる $[1,2]$. 一般的な単語置換 $[3,4]$ では，入力文中の単語を語彙に含まれるランダムな 単語に置換する。これは単語を一様分布からサンプ リングする単純な手法であるが，敵対的摂動のよう な複雑な摂動と同程度に効果的であることが知られ ている[2]. しかし, 従来の単語置換では置換対象 の単語とは無関係な単語を頻繁に選択することにな る.そのため，掑動を加える単語の割合を高く設定 すると, 文中の殆どの単語が無関係な単語に置換さ れてしまい，モデルの性能に悪影響を及ぼす。摂動 を活用するためには，何度も試行を繰り返して八イ パーパラメータを慎重に設定する必要がある.

単語レベルの摂動の異なるアプローチとして，サ ブワード正則化 $[5,6,7]$ が挙げられる. サブワード 正則化では，事前に作成した言語モデルに基づい て，学習エポックごとに異なる単語分割をサンプリ ングしてモデルの学習を行う. サブワード正則化は 単語分割をサンプリングするため, 元の文と無関係 な単語は採用されない. しかし, 単語分割のサンプ リングには複雑な処理を要するため, 単語置換に比 べると摂動の処理に時間がかかるという問題点が

図 1: “up/da/tion”に含まれる単語“da”を CWR - L によって置換する場合の概要.

ある.また，サブワード正則化は単語置換と比較し て，性能向上が限定的となることがある.

本稿では，単語置換とサブワード正則化の折衷案 として，高速かつ効果的な単語レベルの摂動手法を 提案する。提案手法では，単語置換によるサンプリ ングの対象となる語彙を，置換対象の単語の (1) 長 さと (2) 構成要素によって制限する。単語の長さを 用いたアプローチ (1) では，置換対象の単語の長さ に応じて単語のサンプリングに用いる分布を重み付 けする。単語の構成要素を用いたアプローチ (2) で は，サンプリングの対象となる語彙を，置換対象の 単語を構成する要素に制限する。これらの工夫によ り，置換対象の単語が無関係な単語に置き換えられ ることを防ぎ，ハイパーパラメータの変更に対して も頑健にタスクの性能が向上するような単語レベル の摄動を実現する。さらに，提案手法では単語分割 のサンプリングを行わないため，サブワード正則化 よりも高速に摂動処理を実行できる．評価実験によ り，提案手法が文書分類と機械翻訳において性能の 向上に寄与することを確認する。

## 2 提案手法

提案手法の説明の前に, 一般的な単語置換 の概要を説明する. $I$ 個の単語からなる文 $x=$ $x_{1}, \ldots, x_{i}, \ldots, x_{I}$ に対して, 単語置換では確率 $a$ で選択 した単語 $x_{i}$ を $\tilde{x_{i}}$ に置き換える。

$
\begin{aligned}
\tilde{x}_{i} & \sim Q_{V} \\
x_{i} & =\left.\{\begin{array}{lll}
\tilde{x_{i}} & \text { with probability } & a \\
x_{i} & \text { with probability } & 1-a
\end{array} .\right.
\end{aligned}
$

ここで $Q_{V}$ は，語彙 $V$ の全体に対する一様分布であ り，a は置換の頻度を設定するためのハイパーパラ メータである．本稿では，確率 $a$ で選択された $x_{i}$ を 置換対象の単語, $\tilde{x_{i}}$ を置換後の単語と呼ぶ.

## 2.1 長さを考慮した単語置換（WR-L）

従来の単語置換では, 置換対象の単語の長さ によらず，単語のサンプリングを行う. この問題 を解決するために，置換対象の単語の長さに近 い長さの単語を優先的に選択するような単語置換 (Word Replacement using Length: WR-L) を提案す $る^{1)}$. WR-L では，置換対象の単語の長さが平均と なるようなポアソン分布2)を用いて $Q_{V}$ を重み付け し，以下の確率を用いて単語をサンプリングする。

$
p\left(\tilde{x}_{i} \mid x_{i}\right)=\frac{\operatorname{Poisson}\left(L_{\tilde{x}_{i}} ; \lambda=L_{x_{i}}\right)}{Z} .
$

ここで $L_{x_{i}}$ は単語 $x_{i}$ の文字数, $Z$ は確率の合計を 1 とするための正規化項である.

## 2.2 構成要素を考慮した単語置換 (CWR)

従来の単語置換では一様分布を用いているため,置換対象の単語とは無関係な単語が頻繁にサンプ リングされる．これを解決するために，置換対象の 単語の構成要素を考慮した単語置換 (Compositional Word Replacement: CWR）を提案する.

CWR では，単語のサンプリングを行う語彙 $V$ を，置換対象の単語の構成要素 (部分文字列と重複文字列）からなる $S_{x_{i}}$ に制限する。具体的には，置換対象の単語を構成する部分文字列と, 置換対象の単語 の一部を含む重複文字列に語彙を制限する．例えば 図1のように, “up/da/tion”に含まれる“da”という 単語を置換対象とすると，部分文字列は“” “” “a”

1）置換後の単語の長さの分布を付録図 4 に示した.

2）ポアソン分布を用いたノイズは，自然言語処理の離散的な 入力を用いた学習に適していると考えられる [8].表 1: 単語置換の例. 太字は置換された単語を示す.

の 2 種類，重複文字列は “updat”, “at,”, 'ation,” の 3 種類である. 制限された語彙 $S_{x_{i}}$ に対して，一様分布 $Q_{S_{x_{i}}}$ から置換後の単語をサンプリングする.

各単語ごとに，学習データ全体の単語分割候補を 用いて重複文字列を事前に計算しておく.このと き，異なる文脈で用いられる単語であっても，単語 ごとに重複文字列を共有する。例えば，単語 “ $\mathrm{da}$ ”が “up/da/tion”と “pan/da”の 2 つの文脈で用いられてい る場合，この単語の重複文字列は “pan/da” に含まれ る “and” と, “up/da/tion” に含まれる “updat”, “at”, “ation” の合計 4 種類から構成される ${ }^{3}$ ).

また, WR-L と CWR は同時に利用してもよい. この場合，CWRによって制限されたサンプリング のための語彙 $S_{x_{i}}$ の一様分布に対して, ポアソン分布を用いた重み付けを行う。

## 3 実験

提案手法の有効性を確かめるために，文書分類と 機械翻訳で実験を行う，比較対象の手法として，単語レベルの摂動を用いない場合（Vanilla）と，通常 の単語置換による摄動（WR）を用いる. さらに，他 の単語レベルの摂動として以下の手法を用いる.

サブワード正則化（SR）では，各学習エポックごと に言語モデルから単語分割をサンプリングして用い る. 本稿では, SentencePiece [5]を利用した.

Word Dropout (WD) では, (2) 式の $\tilde{x_{i}}$ として分散表現 がゼロベクトルであるトークンを使用する [11].

Unknown Token Replacement (UTR) では，(2) 式の苃 として未知語トークンを使用する [12].

Language Model (LM) では，ランダムに選択した単語を言語モデルに基づいてサンプリングした単語に 置換する。言語モデルには SentencePieceを用い，こ れを利用できない設定では単語の頻度数え上げに よって作成したユニグラム言語モデルを用いる.
}$ を求める処理の概要を付録のアルゴリズム 1 に示した.
}
表 2: 文書分類での実験結果（5 回試行の平均 F1 値）.太字は手法間で最大値を示し，下線は WR を有意（マ クネマー検定で $p<0.05 ）$ に上回ることを示す.

表 3: 機械分類での実験結果（3 回試行の平均 SacreBLEU 値 [9]）。太字は手法間で最大値を示し，下線は WR を有意（Bootstrap Resampling [10] で $p<0.05 ）$ に上回ることを示す.

提案手法である WR-L と CWRに加えて，これら を組み合わせた手法を CWR-L と表記する. 各手法 による単語置換の例を表 1 に示した. これらの摄動手法のうち，SR 以外は式 (2) で説明したハイパー パラメータ $a$ によって単語置換の割合を制御する. SR では，言語モデルの分布を制御するハイパーパ ラメータ $b$ を用いる ${ }^{4)}$.すべてのデータセットにお いて, ハイパーパラメータの候補は 0.1 から 0.9 (0.1 間隔）とし，検証データを用いて最適値を決定した。

## 3.1 文書分類

実験設定: 文書分類の実験では， 3 言語を用いた 9 件 のデータセットを利用する．Twitter(En), Twitter(Ja), Weibo(Zh), はそれぞれ英語, 日本語, 中国語によ るショートテキスト SNS での感情分析データセッ トである. Rating と Genre は, Amazon [13], 楽天市場 [14], JD.com [15] のレビューデータセットから作成した英語, 日本語，中国語のレート予測とジャン ル予測タスクである. 日本語と中国語のデータセッ 卜は，それぞれ MeCab [16] と jieba [17] で事前分割


を行った。その後，すべてのデータセットについて SentencePiece で単語分割を行った. 語彙の規模は,感情分析データセットで $16 \mathrm{~K}$ ，その他のデータセッ トで $32 \mathrm{~K}$ である. 文書分類器には BiLSTM をべー スとした手法 [18] を用いた. 英語のデータセット については, HuggingFace [19] による BERT-base [20] を用いた実験も行う $(+B E R T))^{5}$ ).

実験結果: 表 2 に手法ごとの文書分類の性能を示し た. 結果より，提案手法である WR-L はベースと なっている WR を 12 件のデータセットで上回るこ とが示された。また，提案手法の組み合わせである CWR-L により，複数のデータセットで性能の向上 が得られることも分かった. CWR-L の平均スコア は他の手法よりも高く, WR-L は CWR-L と同程度 である。一方で，置換対象の単語の構成要素だけを 考慮する CWR は，複数のデータセットで他の手法 の性能を下回った。ここから，単語の長さを考慮す る WR-L によって文書分類の性能向上が得られ，さ らに単語の構成要素の考慮を組み合わせることで (CWR-L)，より高い性能が得られることが示唆され


る. ベースライン手法間の比較では，WR と LMが 高い性能を示す一方で，SR は多くのデータセット で性能を向上させることができなかった.

## 3.2 機械翻訳

実験設定: 機械翻訳では Transformer [21]を用い， Fairseq [22] による IWSLT 設定を利用した。単語レ ベルの摂動は低資源での実験設定で効果的である と報告されているため [5]，IWSLTコーパスのうち， De-En, Vi-En, Zh-En ペアの双方向について実験を 行う。単語分割には SentencePieceを用い，語彙の規模は各言語ごとに $32 \mathrm{~K}$ とした. ただし，中国語につ いては jieba による事前分割を行った。

実験結果: 表 3 に, 手法ごとの機械翻訳の性能を示 した. 表において，SR の性能は他のベースライン に比べて高いことがわかる. CWR はSRよりも単語置換の制約が緩いが，実験結果よりSR と同程度の 性能に達することがわかった. さらに, WR-Lも SR よりも高い性能に達しており, CWR-Lは3ペアで最 も高い性能に達している. これらの実験結果から，機械翻訳において単語分割を考慮した摂動（SR， CWR）が効果的であり，さらに単語の長さを考慮す ることも性能の向上に寄与することが示された.

## 4 分析

## 4.1 ハイパーパラメータの影響

ハイパーパラメータが各手法に与える影響を調 べるために， 3.1 節で用いたデータセットでの平均性能をハイパーパラメータの値 $(a, b)$ ごとに測定し た. 図 2 より, CWR-Lは多くの $a$ の値で他の手法よ りも性能が高いことが示された. WR と LM はべー スライン間で高い性能を示しているが，大きい $a$ の 値を用いると性能が低下する。一般的に使用され る小さい $a$ の值において, WR-L の最高性能は WR よりも高く, LM と同程度である. ここから, LM, WR, WR-Lはハイパーパラメータに敏感であり, 慎重なハイパーパラメータの設定が必要であると言え る.CWR は摂動を用いない場合（Vanilla）と同程度 であるが，CWR と CWR-L はともに，a の値によら ず比較的安定した性能を示している。これは語彙の 制限によって, 置換の割合が大きくても元の文の情報を失わないためである.ここから，語彙を制限す る CWRによってハイパーパラメータに対する頑健性が得られ，単語の長さを考慮する（-L）ことでさ

図 2: 文書分類の9データセット（BERT を除く）で のハイパーパラメータごとの $\mathrm{F} 1$ 値の平均.

図 3: Amazon データセットの学習データにおける $10 \mathrm{~K}$ 文あたりの処理速度（10 回試行の平均）.

らなる性能向上が得られると結論付けられる.

## 4.2 処理速度

本研究では，高速で効果的な摂動の手法の開発も 目的としている. 本節では, Amazon データセット の学習データ ( 96,000 文, 文平均 84.91 文字) での 摂動の処理速度を比較する。

図 3 に，各手法の 10 回試行での処理速度の平均時間を示した. 提案手法は語彙の制約や長さによる 分布への重み付けを行うため，WR や LM よりもわ ずかに処理速度が低下している。一方で，明示的に 単語分割のサンプリングを行う必要がないため, SR よりも高速に摂動処理を実行できる。ここから，提案手法（特に CWR-L）は性能向上と処理速度の観点 から優れた摄動の手法であると結論付けられる.

## 5 おわりに

本稿では, 高速で効果的な単語レベルの摂動手法 を提案した. 実験結果より，提案手法が文書分類 と機械翻訳の性能向上に寄与することが分かった. CWR-L はハイパーパラメータを慎重に選ばずとも 高い性能を達成しつつ，サブワード正則化よりも高速に摂動処理を実行できる優れた手法である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです.

## 参考文献

[1] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, Online, June 2021. Association for Computational Linguistics.

[3] Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Proceedings of the 28th International Conference on Neural Information Processing Systems-Volume 1, pp. 1171-1179, 2015.

[4] Xiang Zhang and Yann LeCun. Text understanding from scratch. arXiv preprint arXiv:1502.01710, 2015.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[6] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629, 2019.

[7] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 18821892, Online, July 2020. Association for Computational Linguistics.

[8] Masaaki Nagata. Automatic extraction of new words from Japanese texts using generalized forward-backward search. In Conference on Empirical Methods in Natural Language Processing, 1996.

[9] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[10] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 388-395, 2004.

[11] Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. Advances in neural information processing systems, Vol. 29, pp. 1019-1027, 2016.

[12] Huaao Zhang, Shigui Qiu, Xiangyu Duan, and Min Zhang. Token drop mechanism for neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4298-4303, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Ruining He and Julian McAuley. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering. In proceedings of the 25 th international conference on world wide web, pp. 507-517, 2016.

[14] Rakuten, Inc. Rakuten dataset. Informatics Research Data Repository, National Institute of informatics. (dataset)., 2014.

[15] Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Dailyaware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on world wide web, pp. 1373-1383, 2015.

[16] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006.

[17] Sun Junyi. jieba. https://github.com/fxsjy/jieba, 2013.

[18] Peng Zhou, Zhenyu Qi, Suncong Zheng, Jiaming Xu, Hongyun Bao, and Bo Xu. Text classification improved by integrating bidirectional $1 \mathrm{stm}$ with two-dimensional max pooling. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3485-3495, 2016.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 5998-6008, 2017.

[22] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.
表 4: 各手法・各データセットごとの実験（表 2，表 3）で用いたハイパーパラメータの值. それぞれの 值は検証データで選択した。

## A データセット

3.1 節では，文書分類の実験のために 9 つのデー タセットを用いた. Twitter $\left.(E n)^{6}\right)$ と Weibo $(Z h)^{7)}$ につ いては，配布されているデータセットをそのま ま用いた. Twitter(En) のサンプル数は 100,000 件, Weibo(Zh) は 671,052 件である. その他のデータセッ トについては，以下の通り作成した。

Twitter(Ja) $)^{8}$ : Twitter API を用いて 352,554 件のツ イートを収集し，そのうち感情ラベルが一つのみ 付与された 162,184 件 (ポジティブ 10,319 件，ネガ ティブ 16,035 件，ニュートラル 135,830 件) を実験 に利用した。


(a) WR

(a) WR-L図 4: Amazon データセットでの (a)WR と (b)WR-L に よる単語置換における，置換対象の単語と置換後の 単語の長さの分布. WR-L は WR-L は置換対象の単語の長さに似た長さの単語を頻繁に用いる.

Rating\&Genre(En): 配布されている Amazon データ セットのうち，サンプル数の量が十分にある 24 の 商品ジャンルのレビューから 5,000 件ずつサンプリ ングした. このとき，レビューの長さは 200 単語以下になるように制約を設けた。単語数はスペース区切りでカウントし，最終的なサンプル数は 120,000 件である.

Rating\&Genre(Ja): 配布されている楽天市場のデー タセットのうち，サンプル数の量が十分にある 21 の商品ジャンルのレビューから 5,000 件ずつサンプ リングした. 最大文字数は 100 文字とし，最終的に 525,000 件のサンプルを使用した.

Rating\&Genre(Zh): 配布されている JD.com のデータ セットのうち，サンプルの量が十分にある 13 の商品ジャンルのレビューから 6,000 件ずつサンプリ ングした. 最大文字数は 100 文字とし，最終的に 390,000 件のサンプルを使用した.

すべてのデータセットは学習，検証，評価データ として 8:1:1 に分割して実験に用いた。また，Rating と Genre タスクはそれぞれ同じデータから作成 した.
 平岡 達也 ${ }^{1}$ 高瀬 翔 $^{1}$ 内海 慶 ${ }^{2}$ 欅 惇志 ${ }^{2}$ 岡崎 直観 1 1 東京工業大学 2 デンソーアイティーラボラトリ \{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp \{kuchiumi, akeyaki\}@d-itlab.co.jp  