# 大域的な類似度に基づく単語分散表現の圧縮
## 大橋 空 $\dagger \cdot$ 五十川真生 $\dagger$ ・梶原 智之职 - 荒瀬 由紀 $\dagger$

本研究では，学習済み単語分散表現の品質を保持しつつモデルサイズを削減する。先行研究では, 部分文字列の分散表現から単語の分散表現を構成し, 学習済み単語分散表現を模倣してきた。これにより語彙サイズを削減できるが，品質を保持したまま著しくモデルサイズを削減することは困難であった．本研究では，似た意味を持つ単語同士が似たべクトルを持つという単語分散表現の特性を考慮して, 対象単語の学習済み単語分散表現を模倣する通常の訓練に加えて, 対象単語と他の単語たちとの類似度分布を模倣する訓練も行うマルチタスク学習を提案する。単語類似度推定の実験では, 提案手法は部分文字列から単語分散表現を構成する既存手法の性能を改善し, 同等の品質を保持してモデルサイズを 30 分の 1 に削減できた. テキスト分類の実験では， $90 \%$ の品質を保持してモデルサイズを 200 分の 1 に削減できた. キーワード：単語分散表現, 単語類似度推定, テキスト分類

## Compact Word Embeddings Based on Global Similarity

\author{
Sora Ohashi ${ }^{\dagger}$, Mao Isogawa ${ }^{\dagger}$, Tomoyuki Kajiwara $^{\dagger \dagger}$ and Yuki Arase ${ }^{\dagger}$
}

\begin{abstract}
We reduce the model size of word embeddings while preserving its quality. Previous studies composed word embeddings from those of subwords and mimicked the pretrained word embeddings. Although these methods can reduce the vocabulary size, it is difficult to extremely reduce the model size while preserving its quality. Inspired by the observation of words with similar meanings having similar embeddings, we propose a multitask learning that mimicks not only the pre-trained word embeddings but also the similarity distribution between words. Experimental results on word similarity estimation tasks show that the proposed method improves the performance of existing methods and reduces the model size by a factor of 30 while preserving the quality of the original word embeddings. In addition, experimental results on text classification tasks show that we reduce the model size by a factor of 200 while preserving $90 \%$ of the quality of the original word embeddings.
\end{abstract}

Key Words: Word Embeddings, Word Similarity Estimation, Text Classification


## 1 はじめに

テキスト分類 (Shen et al. 2018) や機械翻訳 (Qi et al. 2018) など, 多くの自然言語処理夕スクにおいて単語分散表現は基盤となる言語資源である。しかし，広く利用されている GloVe (Pennington et al. 2014)や fastText (Bojanowski et al. 2017) などの単語分散表現はモデルサイズが非常に大きく，モバイル機器などメモリ容量が制限された環境での自然言語処理アプリケー ションの開発において，大きな問題となっている。例えば, 200 万単語にそれぞれ 300 次元のべクトルを割り当てる fastText ${ }^{1}$ は，約 $2 \mathrm{~GB}$ の記憶領域を必要とする。語彙サイズを限定することで単語分散表現のモデルサイズを削減できるが, これはシステムが処理できない未知語を増大させるため, アプリケーションの性能を著しく悪化させてしまう.

未知語の発生を避けつつ単語分散表現のモデルサイズを削減するために, 文字 (Pinter et al. 2017; Kim et al. 2018) や文字 N-gram (Zhao et al. 2018; Sasaki et al. 2019) の情報から単語分散表現を推定する研究が行われてきた．単語のタイプ数に比べて文字や文字 N-gram のタイプ数は著しく少ないため, これらの部分文字列 $2{ }^{2}$ から単語分散表現を高精度に推定できれば，アプリケーションの性能を保持したままモデルサイズを削減できる。これらの先行研究では, 図 1 に示すように，部分文字列の分散表現から単語の分散表現を構成し，学習済みの単語分散表現を模倣する。これらの手法では，学習済み単語分散表現および部分文字列という対象単語から得られる局所的な情報のみを扱ってきた。

本研究では, 図 2 に示すように, 対象単語以外の単語も手がかりとして利用する大域的な訓練によって, 単語分散表現の模倣性能を改善する，似た意味を持つ単語同士が似たべクトルを持つという単語分散表現の特性を考慮して, 対象単語の学習済み単語分散表現を模倣する通常の訓練に加えて，対象単語と他の単語との類似度分布を模倣する訓練も行うマルチタスク学習

図 1 部分文字列に基づく単語分散表現の模倣

1 https://fasttext.cc/docs/en/english-vectors.html

2 本研究では, 文字や文字 $N$-gram のことを部分文字列と呼ぶ.

図 2 提案手法における損失計算

を実施する，我々の提案手法は，部分文字列の単位や模倣モデルの構造に依存せず，部分文字列から単語分散表現を模倣する全ての既存手法に容易に適用できる。

単語間の意味的類似度推定タスク (Faruqui and Dyer 2014) における評価実験の結果, 本手法の適用によって全ての先行研究における単語分散表現の模倣性能が改善した. 特に，文字 $\mathrm{N}-\mathrm{gram}$ から単語分散表現を模倣する自己注意機構 (Sasaki et al. 2019) に本手法を適用することによって, fastTextの 97\%の品質を保持しつつモデルサイズを $74 \mathrm{MB}(30$ 分の 1）に削減できた。また，モデルサイズを $12 \mathrm{MB}(200$ 分の 1）に削減した状態でも，元の fastText の 87\%の品質を保つことができた．さらに，テキスト分類タスク (Conneau and Kiela 2018)の評価においても， 12MB の設定で元の fastText の 90\%程度の品質を保持できることを確認した.

## 2 関連研究

## 2.1 単語分散表現に関する研究

単語の分散表現を獲得するために, 対象単語とその周辺単語を用いる教師なし学習によってニューラルネットワークを訓練する研究が盛んに行われている。周辺単語から対象単語を推定する Continuous Bag-of-Words (Mikolov et al. 2013a) や対象単語から周辺単語を推定する Skip-gram (Mikolov et al. 2013b) をはじめとして，単語間の共起を考慮する GloVe (Pennington et al. 2014) や係り受け関係を考慮する手法 (Levy and Goldberg 2014)， 部分文字列を考慮する fastText (Bojanowski et al. 2017) などが代表的な手法として知られている.

単語分散表現は，テキスト分類 (Shen et al. 2018) や機械翻訳 (Qi et al. 2018) など，機械学習に基づく多くの自然言語処理タスクにおいて有用である。しかし，数GBのメモリ容量を必要とする単語分散表現は, 組み込みシステムやモバイル機器などのメモリ容量が制限された環境への実装が困難である。例えば，組み込みシステム開発においてよく用いられる Rasberry Pi 3 のメモリ容量は $4 \mathrm{~GB}$ であり, fastText（約 $2.2 \mathrm{~GB}$ ）の単語分散表現を読み込むと半分以上のメモリ容量を消費してしまう，OSなど，その他のプログラムでもメモリを利用することを考えると，これは深刻な問題である。そこで本研究では，品質を保持したまま単語分散表現のモデルサイズを削減する方法について検討する。

## 2.2 単語分散表現の模倣に関する研究

図 1 に示すように, 単語を構成する部分文字列から単語の分散表現を推定する研究が近年活発に行われている。これらの研究では, 部分文字列の分散表現から単語の分散表現を構成し,学習済み単語分散表現を模倣する。単語のタイプ数に比べて文字や文字 $\mathrm{N}$-gram などの部分文字列のタイプ数は著しく少ないため，このアプローチでモデルサイズを削減できる.

部分文字列としては，文字を用いる手法 (Pinter et al. 2017; Kim et al. 2018) と文字 N-gram

を用いる手法 (Zhao et al. 2018; Sasaki et al. 2019) が提案されている. 模倣モデル（図 1 の Reconstruction Network）としては，文字べースの手法においてはニューラルネットワークに基づく手法 (Pinter et al. 2017; Kim et al. 2018) が，文字 N-gram ベースの手法においては各部分文字列の分散表現を（重み付きで）平均する手法 (Zhao et al. 2018; Sasaki et al. 2019) が採用されている.

これらの先行研究においては，対象単語を構成する部分文字列と対象単語の学習済み単語分散表現のみを用いて模倣モデルを訓練する，本研究では，対象単語以外の単語の情報も利用して単語間の関係を学習することによって，より高品質な模倣モデルを得ることを目指す。これにより, 最終的には, 高い品質を保持しつつモデルサイズの更なる小規模化を実現する.

## 2.3 単語分散表現の圧縮に関する研究

単語分散表現を圧縮するために，2.2 節の模倣アプローチの他にも，多くの研究が行われている。例えば，各単語の分散表現を任意の基底べクトルの組み合わせとして学習する手法 (Suzuki and Nagata 2016) や，コードと呼ばれる整数の組み合わせとして単語を表現する手法 (Shu and Nakayama 2018; Chen et al. 2018)，低次元の分散表現を用いて高次元の分散表現を生成する手法 (Mehta et al. 2020) などが存在する。また，単語分散表現の他にも，行列分解を用いてモデルのパラメータを削減する手法 (Lan et al. 2020) も提案されている.

これらの先行研究においても高い圧縮性能が報告されているが, これらは訓練時に使用した既知語の分散表現しか扱えないという副次的な問題を持つ。一方で, 2.2 節の模倣アプローチでは, 未知語の分散表現についても部分文字列の分散表現から構成できる。そこで本研究では,模倣アプローチを用いて単語分散表現の圧縮を行う.

## 3 提案手法

単語 $w \in W$ の学習済み分散表現を $\boldsymbol{e}_{w}$, 部分文字列 $s \in S$ の無作為に初期化された分散表現を $\boldsymbol{v}_{s}$ と表す. 本研究では, 先行研究 (Pinter et al. 2017; Kim et al. 2018; Zhao et al. 2018; Sasaki et al. 2019) と同じく, ある単語 $w$ に関する部分文字列の集合 $\phi(w)$ から単語分散表現 $\hat{\boldsymbol{e}}_{w}=f(\phi(w))$ を構成する問題を次の損失関数の最小化問題として定式化する.

$
L_{\text {local }}=\frac{1}{d_{w}}\left.\|\hat{\boldsymbol{e}}_{w}-\boldsymbol{e}_{w}\right.\|_{2}^{2}
$

ここで， $d_{w}$ は単語分散表現の次元数である。また, $f(\cdot)$ は部分文字列の集合から単語分散表現 $\hat{e}_{w}$ を構成する関数であり, 図 1 の Reconstruction Network に対応する.この構成関数として, 先行研究では再帰型ニューラルネットワーク (RNN: recurrent neural network) (Pinter et al. 2017) や，畳み込みニューラルネットワーク (CNN: convolutional neural network) (Kim et al.

2018), 自己注意機構 (SAM: self-attention mechanism) (Sasaki et al. 2019) が利用されている.

本研究では, 対象単語 $w$ の局所的な情報のみに依存する式 (1) の損失関数に加えて, 対象単語以外の大域的な情報に基づく損失関数を用いることで，単語分散表現の模倣性能を改善する. つまり，図 2 に示すように，対象単語についての模倣した分散表現と学習済み分散表現の間の関係だけでなく，対象単語の模倣した分散表現と他の単語の学習済み分散表現の間の関係も考慮する。大域的な損失関数は，単語間の余弦類似度 3 を用いて次のように定義する。

$
L_{\text {global }}=\frac{1}{n} \sum_{g \in W}\left(\cos \left(\hat{\boldsymbol{e}}_{w}, \boldsymbol{e}_{g}\right)-\cos \left(\boldsymbol{e}_{w}, \boldsymbol{e}_{g}\right)\right)^{2}
$

ただし, 計算量の削減のために, 訓練バッチごとに $n$ 個の単語 $g \in W$ をサンプリングして使用する. ここで, これらの単語 $g$ を無作為に選択すると, 対象単語 $w$ と無関係な単語ばかりが選ばれる可能性があり, 効率が悪い. そこで, $n / 2$ 語は対象単語 $w$ との余弦類似度が高い順に選択し, 残りは無作為に選択する。最終的に, 式 (1) および式 (2)を足し合わせ, 以下の損失関数を最小化する。

$
L=L_{\text {local }}+L_{\text {global }}
$

## 4 評価実験

単語分散表現の代表的なベンチマークである単語類似度タスク 4 (Faruqui and Dyer 2014)を用いて提案手法の有効性を検証する。本研究では, Rubenstein-Goodenough (RG) (Rubenstein and Goodenough 1965), Miller-Charles (MC) (Miller and Chales 1991), WordSim-353 (WS) (Finkelstein et al. 2002), MEN test collection (MEN) (Bruni et al. 2012), Stanford Rare Word Similarity (RW) (Luong et al. 2013), Stanford's Contextual Word Similarities (SCWS) (Huang et al. 2012), SimLex-999 (SL) (Hill et al. 2015), MTurk-771 (MTurk) (Radinsky et al. 2011) の 8 つのデータセットを用いて実験する．データセットの統計情報を表 1 に示す. 各手法の性能は，単語分散表現間の余弦類似度と人手で付与された単語間の意味的類似度とのスピアマンの順位相関係数で評価する。

表 1 データセットの統計情報
^{4}$ https://github.com/mfaruqui/eval-word-vectors/
}

## 4.1 実験設定

模倣元の単語分散表現には 300 次元の学習済み fastText (crawl-300d-2M-subword) (Bojanowski et al. 2017)を用いた.このうち高頻度な 10 万単語を用いて模倣モデルを訓練した。なお，単語の出現頻度は fastText の訓練コーパスを用いて計算した。ただ，記号や数字を含む単語は除外し，小文字ラテンアルファベットの 26 種類の文字のみで構成される単語を対象にした.

大域的な損失計算のために， $n=10$ 単語をサンプリングした. 式 (3)の最適化には, Adam (Kingma and Ba 2015)を $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}$ の設定で使用した. バッチサイズは 50 単語とし, 5 エポックの early stopping で訓練を終了した.

## 4.2 ベースラインモデル

部分文字列から単語分散表現を模倣する以下の 4 手法に対して，大域的な損失に基づくマルチタスク学習を適用する。

Character RNN (Pinter et al. 2017)：部分文字列として文字を用いる．模倣モデルは， 32 次元の埋め込み層および 512 次元の隠れ層を持つ双方向 LSTM である.

Character CNN (Kim et al. 2018)：部分文字列として文字を用いる。模倣モデルは，フィルタサイズ $[1,2, \ldots, 7]$, スライド幅 3 , フィルタ数 $\max (200,50 \times$ フィルタサイズ $)$ の CNNである.

Bag of N-gram (Zhao et al. 2018)：部分文字列として文字 N-gram を用いる。模倣モデルは，各文字 N-gram の 300 次元の分散表現を要素ごとに平均する.

N-gram SAM (Sasaki et al. 2019)：部分文字列として文字 N-gram を用いる。模倣モデルは， 300 次元の分散表現を重み付きで平均する自己注意機構である.

文字 N-gram に基づく手法は，扱う N-gram の長さ5を変更しつつ 3 つの設定で実験する.
- Small: $N=3$ のみ
- Medium: $N=3$ および $N=4$
- Large: $N=3$ から $N=5$ まで

また，他の単語分散表現の圧縮手法との比較のために，以下の手法との比較を行う.

Quantization (Shu and Nakayama 2018)：コードの組み合わせとして単語を表現する単語分散表現の圧縮手法．最も高い性能が報告されているパラメータに従い，圧縮後の単語分散表現の次元数を 64 , コード数を 64 とする.

flow $^{8}$ (1.14.0) を用いて再実装した．全ての実験は 1 枚の GeForce RTX2080 Tiを用いて行なった.
^{5}$ Zhao et al. (2018) および Sasaki et al. (2019) に従い, 語の先頭と末尾を示す特殊記号を加えて N-gram を数える.

6 https://github.com/losyer/compact_reconstruction

7 https://github.com/zomux/neuralcompressor

8 https://www.tensorflow.org/
}

## 4.3 実験結果

実験結果を表 2 に示す。全ての設定において, 提案手法が単語類似度の推定性能を改善した。特に, N-gram SAM (Sasaki et al. 2019)における Small の設定では，提案手法によって 0.467 から 0.592 に向上した。これらの結果から，単語間の大域的な関係を考慮する提案手法の有効性を確認できた．N-gram SAM における Mediumの設定では，元の fastText の性能を $98 \%$ 保持しつつ，モデルサイズを約 30 分の 1 である $74 \mathrm{MB}$ に削減できた. 同様に，Small の設定では，元の fastText の性能を $87 \%$ 保持しつつ，モデルサイズを約 200 分の 1 である $12 \mathrm{MB}$ に削減できた.

文字に基づく手法 (Pinter et al. 2017; Kim et al. 2018)に対しても提案手法は有効であったが，文字 N-gram に基づく手法 (Zhao et al. 2018; Sasaki et al. 2019)ほどの改善は見られなかった. 文字よりも文字 N-gram の方が豊富な情報を持てるため, 提案手法によって訓練の手がかりが増えたときに, 文字 N-gram に基づく手法の方がより大きく性能を改善できたと考えられる。

データセットごとの性能の内訳 9 を表 3 に示す. RNN や CNN を用いて複雑な構成を行うべー スラインに対しては, 提案手法は常に有効なわけではない. 一方で, Bag of N-gram や N-gram

 &  & 12 &  & 74 &  & 223 \\

表 2 スピアマン相関係数のマイクロ平均およびモデルサイズ (MB) fastText: $\rho=0.684(2,230 \mathrm{MB})$

表 3 データセットごとのスピアマン相関係数


SAM といった文字 N-gram の分散表現の（重み付き）和で構成を行うシンプルなベースラインに対しては，提案手法が一貫して有効である。これらの結果から，本手法はシンプルな構成手法に対して，より有効であると言える。

また，低頻度語に焦点を当てて構築された RW データセットにおいては，提案手法が常に性能改善に貢献している。単語類似度の推定が特に難しい SL データセットにおいても， N-gram SAM における提案手法が元の fastText の性能を $87 \%$ 保持している. これは Small の設定におけるマイクロ平均の性能の維持率と同等である。これらの結果から，提案手法によってモデルサイズを圧縮しつつ高品質な単語分散表現を得られることがわかる.

他の圧縮アプローチである Quantization (Shu and Nakayama 2018) は 6.4MB と高い圧縮性能を持つが，単語類似度の推定性能では N-gram SAM + Global Loss が常に上回る。また，低頻度語に焦点を当てて構築された RW データセットにおいて，Quantization では 2,034 単語対のうち 389 単語対が未知語を含むために評価できなかった. これらの結果から, メモリ容量を抑えつつ高品質な単語分散表現が求められる状況や, 未知語に対処したい状況では, 模倣アプローチによる単語分散表現の圧縮が適していると言える.

## 5 分析

## 5.1 サンプル数に関する分析

表 2 および表 3 の実験では，大域的な損失計算のために $n=10$ 単語をサンプリングした.本節では, 単語のサンプル数が単語類似度推定の性能に与える影響を調査する. サンプル数を $n=10, n=20, n=50$, と変化させた場合の単語類似度推定の性能（スピアマン相関係数のマイクロ平均）を表 4 に示す. なお， $n=0$ は大域的な損失計算を行わないべースラインであり，文字 $\mathrm{N}$-gram に基づくモデルは Small の設定で実験した.

表 4 より，大域的な損失計算のための単語のサンプル数は多いほど良いわけではないことがわかる. 全体に， $n=10$ よりも $n=20$ の方が高い性能を発揮するが， $n=20$ 以上に増やしても大きな改善は見られない。たたし，提案手法は $n$ のサンプル数に関係なく，一貫して $n=0$ のベースラインよりも高い性能を発揮することがわかる.

## 5.2 単語のサンプリング方法に関する分析

本節では，大域的な損失関数の計算に用いる単語のサンプリング方法において，単語の選択条件が性能に与える影響について調査する． 3 節では， $n / 2$ 単語を対象単語との余弦類似度が高い順に選択し，残りは無作為に選択すると説明した。本節の分析では，前者を近傍単語と呼ぶことにし, 近傍単語の割合を $0 \%, 20 \%, 40 \%, 60 \%, 80 \%, 100 \%$ と変化させ, 単語類似度の推定性能 （スピアマン相関係数のマイクロ平均）への影響を調査する。サンプル数は $n=100$ で固定し,

モデルには Small 設定の N-gram SAM を用いた.

結果を図 3 に示す。近傍単語の割合が $20 \%$ の時に提案手法の効果は最大となり, その後近傍単語の数が増加するにつれ性能が悪化している。近傍単語の割合が多い場合, 大域的な損失関数は模倣対象の単語に近い単語のみを考慮し，局所的な情報のみを考慮してしまうためだと考えられる。近傍単語の割合が $100 \%$ のとの性能が，近傍単語の数が 0 のとき（全て無作為に選択）と比べて低いのも同様の理由であると考えられる。近傍単語の割合が $20 \%$ から $80 \%$ の範囲で， $0 \%$ 100\%の場合よりも高い性能を持つことから，対象単語に類似したサンプルと類似していないサンプルの両方を考慮することが有効であると言える.

## 5.3 大域的な損失関数の重みに関する分析

本節では，式 (3) に重み $\beta$ を導入した場合の性能を評価し，大域的な損失関数の影響を調査する， $\beta$ を導入したとき，損失関数は次のようになる.

$
L=(1-\beta) L_{\text {local }}+\beta L_{\text {global }}
$

つまり， $\beta$ が大きいほど大域的な損失関数の影響が増す。なお， $\beta$ は $0.01,0.1,0.2,0.4,0.6,0.8,1.0$ の間で変化させた。

結果を図 4 に示す. $\beta$ が大きいほど単語類似度の推定性能が向上しており, 大域的な損失関数の重要性を確認できた. なお, $\beta=0.1$ の周辺で性能は収束し始めており， $\beta$ を 0.2 以上に増

表 4 損失計算におけるサンプルサイズ $n$ の影響

近傍単語の割合(\%)

図 3 近傍単語のサンプル数を変化させた時の性能

表 5 類似単語検索における Precision@5

図 4 損失関数の重みを変化させた時の性能

表 6 単語 “london”（上段）および単語“flu”（下段）に関する類似単語検索の例

加しても大きな性能の変化は見られない．以上より，大域的な損失関数を小さすぎない重みで考慮することにより, 単語類似度の推定性能を改善できる。

## 5.4 類似単語に関する分析

模倣した分散表現を分析するために，fastTextにおける高頻度な 10 万単語を用いて，類似単語を調查する，表 5 は，類似単語検索の適合率を評価した結果である。正解の類似単語には,模倣元の fastText を用いて各単語との余弦類似度の上位 5 単語を収集した. なお，提案手法のサンプルサイズは $n=10$ であり，文字 N-gram に基づくモデルは Small の設定で実験した。

表 5 より, 提案手法によって類似単語検索の性能が常に改善されることがわかる. 表 6 に, 単語 “london”および “flu”に関する類似単語検索の結果を示す。上段の“london”の例において,模倣元の fastText では "glasgow” や “birmingham” など, “london” と同じくイギリスの大都市が並んでいる。一方で Small 設定の N-gram SAM $(n=0)$ では, “lon”や “lond”など，表層的には類似するものの意味的には無関係な単語を上位に集めてしまっている。単語間の関係を考慮して訓練する提案手法を適用することで, N-gram SAM $(n=10)$ では, “glasgow” や “edinburgh” などの意味的に近い単語が “london”と似た分散表現の獲得に成功している. 下段の “flu"の例では, ベースラインは全く無関係な単語を集めているが, 提案手法では “influenza” "pneumonia” などの意味的に近い単語を得ることができた。

## 6 応用タスクにおける検証

模倣した単語分散表現の応用タスクにおける有効性を検証するために，表 7 および表 8 に示す 12 種類のテキスト分類タスク (Conneau and Kiela 2018) に取り組む. 本実験では，多くの夕スクにおいて有効性が示されている SWEM-aver (Shen et al. 2018) に基づき，単語分散表現から文の分散表現を構成する。 SWEM-aver（以降, 単にSWEM と表記）は, 単語分散表現を要素ごとに平均して文の分散表現を得る手法であり，単語分散表現の品質が文の分散表現の品質を直接左右するという点でも本実験に適した手法である.

表 7 文分類タスクのデータセット

表 8 文対モデリングタスクのデータセット

他のテキスト分類モデルとして, RNN (Yang et al. 2016) や CNN(Zhang et al. 2015), 自己注意機構を用いたモデル (Raheja and Tetreault 2019) も考えられるが, これらのモデルでは単語分散表現の品質以外の要件も分類性能に大きく影響するため，本実験では SWEM に基づいて文の分散表現を構成する，SWEM についても，SWEM-averの他に，要素ごとの最大值をとる SWEM-maxや，両者の演算結果を連結する SWEM-concat が提案されている．SWEM-maxでは最大値以外の情報を無視するため, 個々の単語分散表現の品質がより大きく分類性能に影響する SWEM-averを用いて実験を行う。

## 6.1 実験設定

文の分散表現の代表的なべンチマークのひとつである SentEval (Conneau and Kiela 2018)を用いて提案手法の有効性を検証する。文分類タスクには, MR (Pang and Lee 2005), CR (Hu and Liu 2004), SUBJ (Pang and Lee 2004), MPQA (Wiebe et al. 2005), SST (Socher et al. 2013), TREC (Voorhees and Tice 2000)の 6 つのデータセットを用いて実験する．ただし， SST の感情分類については， 2 値分類と 5 值分類の両方の設定で実験する。文対モデリングタスクには, MRPC (Dolan et al. 2004), SNLI (Bowman et al. 2015), SICK (Marelli et al. 2014), STS-B (Cer et al. 2017)の 4 つのデータセットを用いて実験する．ただし，SICKについては分類タスク (SICK-E) と回帰タスク (SICK-R) の両方の設定で実験する。各手法の性能は, SICK-R およびSTS-B の回帰タスクはピアソンの相関係数，その他の分類タスクは正解率によって評価する.

SWEM のベースとなる単語分散表現には，4 節と同じく, fastText (Bojanowski et al. 2017) を模倣した N-gram SAM (Sasaki et al. 2019)を用いた。提案手法は， $n=10$ で適用した.

分類および回帰のために，SWEMによって構成した特徴べクトルを入力とするロジスティック回帰モデルを訓練した，文分類タスクでは 5 分割交差検証を実施し，検証用データを用いて最適な $C \in\left.\{10^{-5}, 10^{-4}, 10^{-3}, 10^{-2}\right.\}$ を選択した。最適化には, Adam (Kingma and Ba 2015) を $\alpha=0.01, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}$ の設定で使用した. バッチサイズは 64 文とし, 5 エ

ポックの early stopping で訓練を終了した.

実験には 1 枚の GeForce RTX $2080 \mathrm{Ti}$ 使用し，SentEval10の公式実装を用いた．ライブラリとそのバージョンは, PyTorch ${ }^{11}(1.2 .0)$, scikit-learn ${ }^{12}(0.22 .1)$ を用いた.

## 6.2 実験結果

表 9 に文分類タスクにおける実験結果を，表 10 に文対モデリングタスクにおける実験結果を，それぞれ示す。多くの設定（MRPC の言い換え認識における Medium の設定以外）において，提案手法がテキスト分類の性能を改善した。また，4節の単語類似度推定とは異なり，文分類タスクにおいて Large は元の fastText の $90.2 \%$ の性能を保持しているのに対し， Small では $90.0 \%$ 保持しており Large と同等の性能を保持できた。

特に，SST-2 などの 2 値分類タスクでは，Small の設定においても元の fastText の 9 割以上の

} & N-gram SAM & 67.02 & 63.76 & 83.48 & 82.86 & 77.22 & 33.83 & 58.57 \\

表 9 文分類タスクにおける評価（正解率）

表 10 文対モデリングタスクにおける評価

性能を保持できた。この結果から, 応用タスクであるテキスト分類においても, 提案手法は単語分散表現の品質を保持しつつモデルサイズを約 200 分の 1 に削減できることを確認できた.

## 7 おわりに

本研究では，単語分散表現のモデルサイズの削減に取り組んだ。部分文字列の分散表現から単語の分散表現を構成して学習済み単語分散表現を模倣するアプローチにおいて, 単語間の関係を学習するための大域的な損失を提案した。単語類似度推定による評価の結果, 従来の局所的な損失計算と提案手法である大域的な損失計算のマルチタスク学習によって, 部分文字列に基づく全ての既存手法の性能が改善することを示した. また，テキスト分類による評価の結果,特に 2 値分類タスクにおいては，モデルサイズを 200 分の 1 に削減する設定でも 9 割の性能を保持できることを確認した。これにより，2GBのfastTextの場合, 提案手法によって性能を保ちつつ $12 \mathrm{MB}$ までモデルサイズを削減できる．本研究の成果は，モバイル機器などメモリ容量が制限された環境での自然言語処理アプリケーションの開発を助けると期待できる.

## 謝 辞

本研究の一部は JSPS 科研費 $20 \mathrm{H} 04484$ の助成を受けたものです.

## 参考文献

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Bruni, E., Boleda, G., Baroni, M., and Tran, N.-K. (2012). "Distributional Semantics in Technicolor." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 136-145.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation, pp. 1-14.

Chen, T., Min, M. R., and Sun, Y. (2018). "Learning K-way D-dimensional Discrete Codes for

Compact Embedding Representations." In Proceedings of the 35th International Conference on Machine Learning, Vol. 80, pp. 854-863.

Conneau, A. and Kiela, D. (2018). "SentEval: An Evaluation Toolkit for Universal Sentence Representations." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1699-1704.

Dolan, B., Quirk, C., and Brockett, C. (2004). "Unsupervised Construction of Large Paraphrase Corpora: Exploiting Massively Parallel News Sources." In Proceedings of the 20th International Conference on Computational Linguistics, pp. 350-356.

Faruqui, M. and Dyer, C. (2014). "Community Evaluation and Exchange of Word Vectors at wordvectors.org." In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 19-24.

Finkelstein, L., Gabrilovich, E., Matias, Y., Rivlin, E., Solan, Z., Wolfman, G., and Ruppin, E. (2002). "Placing Search in Context: The Concept Revisited." ACM Transactions on Information Systems, 20 (1), pp. 116-131.

Hill, F., Reichart, R., and Korhonen, A. (2015). "SimLex-999: Evaluating Semantic Models With (Genuine) Similarity Estimation." Computational Linguistics, 41 (4), pp. 665-695.

Hu, M. and Liu, B. (2004). "Mining and Summarizing Customer Reviews." In Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 168-177.

Huang, E., Socher, R., Manning, C., and Ng, A. (2012). "Improving Word Representations via Global Context and Multiple Word Prototypes." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 873-882.

五十川真生，梶原智之，荒瀬由紀 (2019). 大域的な類似度と部分文字列を用いた未知語分散表現の生成手法. 言語処理学会第 25 回年次大会発表論文集, pp. 1049-1052. [M. Isogawa et al. (2019). Taiikiteki na Ruijido to Bubun Mojiretsu wo Mochiita Michigo Bunsan Hyogen no Seisei Shuho. Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing.].

Kim, Y., Kim, K.-M., Lee, J.-M., and Lee, S. (2018). "Learning to Generate Word Representations using Subword Information." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2551-2561.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2020). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." In International

Conference on Learning Representations.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 302-308.

Luong, T., Socher, R., and Manning, C. (2013). "Better Word Representations with Recursive Neural Networks for Morphology." In Proceedings of the 17th Conference on Computational Natural Language Learning, pp. 104-113.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223.

Mehta, S., Koncel-Kedziorski, R., Rastegari, M., and Hajishirzi, H. (2020). "DeFINE: Deep Factorized Input Token Embeddings for Neural Sequence Modeling." In International Conference on Learning Representations.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of the 1st International Conference on Learning Representations.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of the 27th Conference on Neural Information Processing Systems.

Miller, G. A. and Chales, W. G. (1991). "Contextual Correlates of Semantic Similarity." Language and Cognitive Processes, 6 (1), pp. 1-28.

Ohashi, S., Isogawa, M., Kajiwara, T., and Arase, Y. (2020). "Tiny Word Embeddings Using Globally Informed Reconstruction." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1199-1203.

Pang, B. and Lee, L. (2004). "A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 271-278.

Pang, B. and Lee, L. (2005). "Seeing Stars: Exploiting Class Relationships for Sentiment Categorization with Respect to Rating Scales." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 115-124.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Pinter, Y., Guthrie, R., and Eisenstein, J. (2017). "Mimicking Word Embeddings using Subword

RNNs." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 102-112.

Qi, Y., Sachan, D., Felix, M., Padmanabhan, S., and Neubig, G. (2018). "When and Why Are Pre-Trained Word Embeddings Useful for Neural Machine Translation?" In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 529-535.

Radinsky, K., Agichtein, E., Gabrilovich, E., and Markovitch, S. (2011). "A Word at a Time: Computing Word Relatedness Using Temporal Semantic Analysis." In Proceedings of the 20th International Conference on World Wide Web, pp. 337-346.

Raheja, V. and Tetreault, J. (2019). "Dialogue Act Classification with Context-Aware SelfAttention." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3727-3733.

Rubenstein, H. and Goodenough, J. B. (1965). "Contextual Correlates of Synonymy." Communications of the ACM, 8 (10), pp. 627-633.

Sasaki, S., Suzuki, J., and Inui, K. (2019). "Subword-based Compact Reconstruction of Word Embeddings." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3498-3508.

Shen, D., Wang, G., Wang, W., Min, M. R., Su, Q., Zhang, Y., Li, C., Henao, R., and Carin, L. (2018). "Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 440-450.

Shu, R. and Nakayama, H. (2018). "Compressing Word Embeddings via Deep Compositional Code Learning." In Proceedings of the 6th International Conference on Learning Representations.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642.

Suzuki, J. and Nagata, M. (2016). "Learning Compact Neural Word Embeddings by Parameter Space Sharing." In Proceedings of the 25th International Joint Conference on Artificial Intelligence, pp. 2046-2052.

Voorhees, E. M. and Tice, D. M. (2000). "Building a Question Answering Test Collection." In Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and

Development in Information Retrieval, pp. 200-207.

Wiebe, J., Wilson, T., and Cardie, C. (2005). "Annotating Expressions of Opinions and Emotions in Language." Language Resources and Evaluation, 39 (2-3), pp. 165-210.

Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., and Hovy, E. (2016). "Hierarchical Attention Networks for Document Classification." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489.

Zhang, X., Zhao, J., and LeCun, Y. (2015). "Character-level Convolutional Networks for Text Classification." In Cortes, C., Lawrence, N., Lee, D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 28, pp. 649-657.

Zhao, J., Mudgal, S., and Liang, Y. (2018). "Generalizing Word Embeddings using Bag of Subwords." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 601-606.

## 略歴

大橋空：2019 年大阪大学工学部電子情報工学科卒業, 同年同大学大学院情報科学研究科マルチメディア工学専攻に進学, 現在に至る. 自然言語処理の研究に従事.

五十川真生 : 2017 年大阪大学工学部電子情報工学科卒業, 2019 年同大学大学院情報科学研究科マルチメディア工学専攻修了. 修士 (情報科学). 同年ヤフー 株式会社に入社, 現在に至る.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)，大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)，同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現認識と生成, 機械翻訳技術, 対話システムに興味を持つ.

(2020 年 8 月 29 日受付)

(2020 年 12 月 16 日再受付)

(2020 年 12 月 29 日採録)