# 意味変化分析に向けた単語埋め込みの時系列パターン分析

木山朔 1 相田太一 ${ }^{1}$ 小町守 ${ }^{2}$ 小木曽智信 ${ }^{3}$ 高村大也 ${ }^{4}$ 松井秀俊 5 持橋大地 6

1 東京都立大学 ${ }^{2}$ 一橋大学 3 国立国語研究所 4 産業技術総合研究所

5 滋賀大学 6 統計数理研究所

\{kiyama-hajime, aida-taichi\}@ed.tmu.ac.jp mamoru.komachi@r.hit-u.ac.jp togiso@ninjal.ac.jp takamura.hiroya@aist.go.jp

hmatsui@biwako.shiga-u.ac.jp daichi@ism.ac.jp
## 概要

意味変化とは書かれた時代により単語の意味が変化する，という言語学的事象である。単語の意味がどのようにして変化するのか，という意味変化パターンの理解は将来的に意味変化する単語のモデル化に対し重要な示唆を与える. 本研究では，意味変化のパターンを分析するための前段階として，単語埋め込みの時系列分析手法を提案する. 時期ごとに単語埋め込みを学習し, 対象単語の埋め込みを時系列に並べることで時系列のパターン分析を可能にした. 分析の結果より, 特殊な振る舞いをするパター ンが存在することを示し, 時系列の分析に本手法が有効なことを示す.

## 1 はじめに

単語の意味は時代によって変化することがある.例えば，「こだわる」という単語は近代でネガティブな意味『執着する』を持っていたが，現代でポジティブな意味『追求する』を獲得した [1]. 通時的な単語の意味変化を捉えることは言語学の分析に有用である [2]. また，自然言語処理の分野への応用も期待されている。最近広く注目を集めている事前訓練済みの大規模言語モデルは，時代経過で訓練デー タの時代が古くなることで，最新の知識を持った入力に対応できなくなり，性能が低下することが言われている [3] が，時代間で意味が変化した単語を重点的に追加訓練することで，時代経過による性能低下を効率的に防ぐことができる [4].

意味変化のモデル化に向けて，意味変化のパター ンを理解することは，これまでに発生した単語の意味変化を説明するだけでなく，将来発生する意味変化を予測するために重要である. 先行研究では, 頻度や多義性によって意味変化のしやすさが説明でき

の年代ごとに学習しSVDで圧縮した際の単語「自在」の埋め込みの 2003-2020 年の変化. $x$ 軸， $y$ 軸, $z$ 軸の順に分散上位の $2,3,5$ 次元目を表す. 色が濃い方が古い年代，薄い方が新しい年代を表している.時系列の変化が確認できる.

ることや [5]，意味変化のパターンとして意味競争，意味協力といった語義同士の関係が示唆されている [6]. これらの分析ではなぜ頻度や多義性が意味変化のしやすさに関係するのか，なぜこのような語義同士の関係が存在するか，といったメカニズムが明らかにされていない.

そこで本研究では, 意味変化のパターンを分析するための前段階として, 複数の時期で学習された単語埋め込みの時系列特性を分析する。 図 2 に本研究の概要図を示す。まず，時期ごとに異なる単語埋め込みを同時に学習し, 対象単語の埋め込みを抽出する．次に，抽出された行列を特異值分解 (Singular Value Decomposition; SVD) や独立成分分析 (Independent Component Analysis; ICA) といった次元圧縮手法を用いて低次元に圧縮する．その後，圧縮された時系列データを関数データ [7] として扱い, クラスタリングを行う．最後に，時系列の埋め込みやクラスタの分析を行い時系列単語埋め込みのパターンを調査する．本研究の貢献は以下となる。

図 2: 単語埋め込みの時系列パターン分析手法

・単語埋め込みの時系列パターン分析手法を提案した. 時系列のパターンが分析可能となり，意味変化の分析につながることが期待できる.
- 分析結果より，単語群の非自明な時系列パター ンを発見した.これはデータの特徴にあったパターンであると考えられる。

## 2 関連研究

意味変化検出のための単語埋め込み意味変化検出タスクにおいては, BERT [8] のような動的埋め込みに時代や語義を考慮した追加訓練を行うことで, Skip-Gram with Negative Sampling (SGNS) [9] といった静的埋め込みよりも性能が高くなることが知られている $[10,11]$. しかし, 動的埋め込みの追加訓練にはコストがかかる．今回は学習のためのデー タサイズが十分ではなく，時期ごとに埋め込みを獲得したいため, 静的埋め込みを対象に分析を行う.

意味変化で使われる複数時期の静的埋め込みの学習方法として Kim らの SGNS init [12] と相田らの PPMI $_{S V D}$ joint [13]を取り上げる. 前者の SGNS init は時期 $t$ の埋め込みを学習する際に時期 $t-1$ の埋め込みを初期値として与える手法である. 後者の PPMI $I_{S V D}$ joint は, 対象単語と周辺単語の PPMI (Positive Pointwise Mutual Information) 行列を SVD で圧縮した埋め込みがSGNS と理論的に一致することを利用している [14]. SVDでの圧縮時に複数時期の PMI 行列を結合させ同時に圧縮することで，時期間の対応をとっている．本研究では，時期
のスパンを小さくした上でこれらの手法による埋め込みを獲得し，分析を行う。

意味変化の傾向・パターン意味変化の傾向とし $\tau$, Hamilton らが頻度, 多義性との関係を分析している [5]. 彼らは，頻度が低ければ意味変化しやすい傾向，単語の多義性が高ければ意味変化しやすい傾向を発見した. Giulianelli らは，BERTを用いた意味変化において，生態学的な観点から意味変化のモデル化を試みている [6].ここでは，意味競争，意味協力という概念を導入している．意味競争は，ある語義がその単語の主要な語義となるように，意味の割合が高くなるように奪い合う，という現象である. 意味競争により, 特定の語義が支配的になり, その単語の主要な意味として使われる. 意味協力は，似ている語義同士で共に語義の割合の増加または減少が発生する，という現象である。意味協力により主要な語義が増加/減少することで，主要な語義に似ている語義が増加/減少し, それ以外の語義が減少/増加する。

本研究では，上記に限らない意味変化の傾向やパターンを明らかにすることを最終的な目標として， まず短いスパンでの時系列の単語埋め込みの性質について分析し，意味変化への応用を探る.

## 3 分析手法

## 3.1 時系列単語行列の獲得

図 2 に分析手法の概要を示す. 単語埋め込みの次元数を $D$, 総単語数を $N_{\text {all }}$, 対象単語数を $N_{\text {target }}$ とする. それぞれの時期 $t \in\{1,2, \ldots, T\}$ で単語埋め込み行列 $E_{t} \in \mathbb{R}^{N_{\text {all }} \times D}$ が学習されている. これをまとめると全単語を対象にした時系列の単語埋め込みテンソル $E \in \mathbb{R}^{N_{\text {all }} \times D \times T}$ が得られる. ここで, 対象単語 $w$ の埋め込み $e_{t}(w) \in \mathbb{R}^{D}$ を縦に並べて, 時系列単語埋め込み行列 $X(w) \in \mathbb{R}^{D \times T}$ を得る.これを対象単語の $N_{\text {target }}$ 個だけ縦に並べた行列を時系列単語埋め込み行列 $X \in \mathbb{R}^{M \times D}\left(M=T \times N_{\text {target }}\right)$ とする.

$
X(w)=\left(\begin{array}{c}
e_{1}(w) \\
e_{2}(w) \\
\ldots \\
e_{T}(w)
\end{array}\right), \quad X=\left(\begin{array}{c}
X\left(w_{1}\right) \\
X\left(w_{2}\right) \\
\ldots \\
X\left(w_{M}\right)
\end{array}\right)
$

## 3.2 次元圧縮手法

一般的に単語埋め込みは数十から数百，大きいものだと数千の次元で学習されるため, 取り出した時

(a) 怠る $+\mathrm{SVD}$

(b) 怠る $+\mathrm{ICA}$

(c)引き受ける+SVD

(d) 引き受ける+ICA

の可視化. 横軸は次元，縦軸は時期を表す。縦軸に似た色が観察され，時期によらず似た埋め込みとなる.

系列単語埋め込み行列 $X$ はそのままでは解釈が困難となる．そこで本研究では，時系列単語埋め込み行列 $X$ に対して次元圧縮手法である SVD，ICAを適用して，圧縮された低次元空間の分析を行う 1).異なる二つの圧縮手法を比較することで，手法による違いなのか，データによる違いなのかを検証できる.また ICA は意味に沿った軸に分解されるという先行研究 [15] があり, ICA の軸の変化が意味変化を捉える可能性が高いため採用した.

SVD SVDとは，固有値分解を一般に拡張した手法である. ある $M \times D$ 次元の行列 $X \in \mathbb{R}^{M \times D}$ を $M \times d$ 次元 $(D \gg d)$ に圧縮する操作は次のように行われる。

$
X=U S V^{T}
$

ここで行列 $U S^{1 / 2}$ について分析を行う ${ }^{2)}$.

ICA ICA とは，入力された成分を独立になるように分解する手法である。 $M \times D$ 次元から $M \times d$ 次元へ変換する行列 $A \in \mathbb{R}^{D \times d}$ を求めることで，独立成分行列 $I \in \mathbb{R}^{M \times d}$ を獲得できる.

$
I=X A
$

独立成分行列 $I$ について分析を行っていく. 分析の際には，各軸での値の分布の歪度の絶対値が大きい順に軸を並び替える [15].

## 3.3 時系列データ分析

圧縮された埋め込みに対して，特定の次元に着目して時系列データを取得する. 本研究では, 時系列における傾向を調査するために，この単語の時系列データを関数データ [7] として扱い，関数データを軌跡とみなして軌跡単位での分析を行う. 系列デー タを関数として表現し，関数単位で分析を行う手法

1）各対象単語 $w$ ごとに取り出した $X(w)$ に対して分解を行うと単語間で軸の対応が取れず，次元の解釈ができない。そのため，すべての単語・すべての時期で同時に分解を行う.

2） $U S^{1 / 2}$ は $\mathrm{PPMI}_{\mathrm{SVD}}$ における単語埋め込みに相当する.
は，関数データ解析とよばれる。関数単位で分析を行うことで，観測誤差の除去やデータの次元の削減が期待できる．その後，関数データに対してクラスタリング（関数クラスタリング）を行い，クラスタ単位で軌跡のパターンの分析を行う．クラスタリングのアルゴリズムは $\mathrm{K}$ 平均法を使用する. クラスタ数の $K$ は 5 としており，これは特異な軌跡がクラスタとして判別できるように人手で判断して決定した. 距離はユークリッド距離を用いている.

## 4 実験設定

データセット比較的新しい年代の意味変化を調査する目的で，毎日新聞コーパスを使用した. 2003 年から 2020 年の 18 年分のコーパスを対象とし, 1 年毎に区切って 18 個の埋め込みを獲得する. 前処理として，空白・補助記号の削除，20 単語未満の文の除外，重複の削除，subsampling ( $\mathrm{t}=1 \mathrm{e}-05)$ を行った. 対象単語は各時期で 100 回以上出現する動詞,形容詞，形状詞（形容動詞に相当）の合計 1,226 単語とし， mecab+unidic ${ }^{3}$ を用いてレンマタイズした.名詞については，固有名詞などに広く影響されるため，今回の分析から除外した。

埋め込み手法埋め込みの学習では，単語埋め込みの次元数を 100 , 文脈空の大きさを前後 10 単語とした。埋め込み手法は SGNS init [12] と PPMI ${ }_{S V D}$

SGNS init においては最初の時期である 2003 年の埋め込みをランダムに初期化した状態から学習を行い，2003 年以降の学習で初期化手法を用いる ${ }^{4)}$.

## 5 分析結果

時系列のパターン PPMI $\mathrm{SVD}$ で学習した埋め込みを用いて「怠る」，「引き受ける」という単語の時系

3) https://taku910.github.io/mecab/

4）負例サンプリングの数は 10 , エポック数は 20 とした.

(a) SGNS init+SVD dim1

(b) SGNS init+SVD dim12

(c) $\mathrm{PPMI}_{\mathrm{SVD}}+\mathrm{ICA} \operatorname{dim} 14$

(d) PPMI $_{\text {SVD }}+$ ICA dim 29

図 4: 毎日新聞コーパスで埋め込みを学習し特定の次元を関数クラスタリングした結果. 横軸は時期，縦軸は圧縮値を示す。通常は (a)のような結果となるが，(b)，(c)，(d) のように特殊な振る舞いをする結果が存在する.

列埋め込みを次元圧縮した可視化を図 3 に示す. 圧縮手法によらず縦軸には近い値が集まっている5）。 これより時期が異なっても，同じ単語であれば似たような埋め込みが得られることがわかる. ICA の方が SVD より埋め込みのコントラストがはっきりしており，ICAによる圧縮では尖った形状を持つという先行研究 [15] と一致する.

3 次元での可視化学習し圧縮した埋め込みを分散でソートし，上位の 3 次元を可視化して分析を行う. $x$ 軸， $y$ 軸， $z$ 軸の順に上位 1 次元， 2 次元， 3 次元を表す。濃い青色が 2003 年，薄い黄色が 2020 年とし，時系列に並べて直線で結んでいる. 図 1 に PPMI $_{\text {SVD }}$ で学習し，SVDで圧縮した場合の「収める」の可視化を示す. 時間が経過するにつれ，濃い色から薄い色への変化がどれもみられることから時系列の変化を検出できていることがわかる ${ }^{6}$.

関数クラスタリング SGNS initで学習した埋め込みに対し，SVDで圧縮された埋め込みの特定の次元を関数クラスタリングした結果を図 4 (a) に示す.基本的にどの軌跡も平行線のような軌跡を描き，時系列の変化が見られない。しかし，一部の次元においては軌跡が極端に変化することを確認した．以下では，SGNS init+SVD と PPMI SVD $+\mathrm{ICA}$ の組み合わせに限って説明する 7 ).

図 4 (b) にSGNS init で学習され，SVDで圧縮された 12 次元目を関数クラスタリングした結果を示す.図 4 (a) で見たように，x 軸に平行線になるクラスタが見られるが，時期が新しくなるにつれ，值が小さくなるクラスタが存在する ${ }^{8)}$.

図 4 (c) に PPMI SVD で学習され, ICA で圧縮された 14 次元目を関数クラスタリングした結果を示す.

5）学習手法にもよらないことは付録 A にて示す.
6) $\mathrm{PPMI}_{\mathrm{SVD}}+\mathrm{SVD}$ 以外の 3 次元の可視化は付録 B に示す。

7） 極端な軌跡が見られたのがこの 2 手法であった.

8） 值が小さくなるクラスタ 4 の単語は付録 $\mathrm{C}$ に示す.
2011 年から急激に変化する軌跡が存在することから，東日本大震災により新聞の内容が変化したことが示唆される．5つのクラスタのうち，最も大きく変動しているクラスタ 2 に属する単語は「みたい」,「割る」，「稀」，「割れる」，「向く」，「領く」，「空く」，「掻く」の 8 単語である.

図 4 (d) に PPMI SVD で学習され，ICA で圧縮された 29 次元目を関数クラスタリングした結果を示す。 2006 年から 2012 年の期間において極端に值が小さくなり，それ以外の時期では極端に値が大きくなるクラスタが存在する。大きく軸に反応しているクラスタ 4 に属する単語は「突く」，「消す」，「打つ」，「詰める」，「逃げる」，「攻める」，「繰り出す」，「利く」，「打ち込む」，「仕掛ける」，「ぶつける」，「不味い」，「寄る」，「手厚い」，「躲す」，「有力」，「差す」，「引く」 の 18 単語である. 野球に使われる用語などが多く, スポーツ関連のクラスタであることが示唆される。震災やスポーツに関連したトピックが出現することは新聞データの特徴をつかめていると言える.

## 6 おわりに

本研究では，意味変化の分析に向けて単語埋め込みの時系列パターンの分析を行った. 時期ごとの単語埋め込みから，対象単語の埋め込みを時系列順に結合させ，次元圧縮を行い分析する手法を提案した. 関数クラスタリングにより時系列のパターンとして特殊な場合を検出できた。

今後の展望としては，今回の分析結果を元に単語の意味が変化する要因の特定，定量的に時系列の変遷を扱う方法の検討，関数主成分分析や関数独立成分分析を用いたより詳細な時系列分析，BERT といった動的な単語埋め込みを用いた時系列分析，そして擬似データや意味変化した単語がわかっているデータセットでの実験が挙げられる。

## 謝辞

有益なコメントや議論をしてくださった東京都立大学自然言語処理研究室のメンバーに感謝いたします。

## 参考文献

[1] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会年次大会, pp. 1166-1170, 2021.

[2] Paul Cook and Suzanne Stevenson. Automatically identifying changes in the semantic orientation of words. In LREC 2010, Valletta, Malta, May 2010.

[3] Angeliki Lazaridou, Adhiguna Kuncoro, Elena Gribovskaya, Devang Agrawal, Adam Liska, Tayfun Terzi, Mai Gimenez, Cyprien de Masson d'Autume, Tomáš Kočiský, Sebastian Ruder, Dani Yogatama, Kris Cao, Susannah Young, and Phil Blunsom. Mind the gap: Assessing temporal generalization in neural language models. In NeurIPS 2021, 2021.

[4] Zhaochen Su, Zecheng Tang, Xinyan Guan, Lijun Wu, Min Zhang, and Juntao Li. Improving temporal generalization of pre-trained language models with lexical semantic change. In EMNLP 2022, pp. 6380-6393, Abu Dhabi, United Arab Emirates, December 2022.

[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In ACL 2016, pp. 1489-1501, Berlin, Germany, August 2016.

[6] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In ACL 2020, pp. 39603973, Online, July 2020.

[7] J.O. Ramsay and B.W. Silverman. Functional data analysis (2nd ed.). Springer, New York, 2005.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019.

[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In NeurIPS 2013, Vol. 26, 2013.

[10] Guy D. Rosin and Kira Radinsky. Temporal attention for language models. In NAACL Findings 2022, pp. 14981508, Seattle, United States, July 2022.

[11] Pierluigi Cassotti, Lucia Siciliani, Marco DeGemmis, Giovanni Semeraro, and Pierpaolo Basile. XL-LEXEME: WiC pretrained model for cross-lingual LEXical sEMantic changE. In ACL 2023, pp. 1577-1585, Toronto, Canada, July 2023.

[12] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. Temporal analysis of language through neural language models. In ACL 2014 Workshop, pp. 6165, Baltimore, MD, USA, June 2014.

[13] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.異なる時期での意味の違いを捉える単語分散表現の結合学習. 自然言語処理, Vol. 30, No. 2, pp. 275-303, 2023.

[14] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In NeurIPS 2014, Vol. 27 , 2014.

[15] Hiroaki Yamagiwa, Momose Oyama, and Hidetoshi Shimodaira. Discovering universal geometry in embeddings with ICA. In $E M N L P 2023$, pp. 4647-4675, Singapore, December 2023.

## A 時系列パターン

(a) 急る $+\mathrm{SVD}$

(b) 急る $+\mathrm{ICA}$

(c)引き受ける+SVD

(d) 引き受ける+ICA

図 5: SGNS initで学習した埋め込みを用いて「急る」，「引き受ける」を圧縮した際の可視化. 横軸は次元，縦軸は時期を表す. 図 3 と比較しても似たような傾向が得られることから，学習手法によらない性質であると示唆される.

## B 3 次元での可視化

(a) 加わる $+\mathrm{PPMI}_{\mathrm{SVD}}+\mathrm{ICA}$

(b) 收める+SGNS init+SVD

(c) 味わう+SGNS init+ICA

図 6: 毎日新聞で学習し压縮した埋め込みの分散の上位 3 次元での可視化. $x$ 軸は上位 1 次元， $y$ 軸は上位 2 次元， $z$ 軸は上位 3 次元目を表す. (a) は $(7,20,37)$ ，(b) は $(3,1,4)$ ，(c) は $(51,89,72)$ である. 色が濃い方が古い年代，薄い方が新しい年代を表す。時代が進むにつれ変化する様子が観察される。

## c 関数クラスタリング

表 1: 図 4 (b) のクラスタ 4 に含まれる単語リスト。このように時系列パターンが特殊な単語群を発見できるが，これらの単語に共通するパターンが何かまでは特定できていない.

## クラスタ 4 に含まれる単語

濃厚，押さえ込む，下がる，久しい，競り勝つ，阻む，振り切る，力強い，取れる，苦しむ，戦う，抜く，輝く，走る，痛い，頑張る，振り返る，悔やむ，切れる，迎える，早い，鋭い，ビッグ-big，追い付く，絡める，押し出す，実る，印く，恵まれる，誇る，終わる，称える，抜け出す，留まる，沸く，封ずる，強烈，きつい，割り込む，光る，順調，打つ，真っ直ぐ，持ち込む，入れ替える，乗り切る，控えめ，保つ，巧み，必死，及ぶ勝ち上がる，転ずる，脱する，旨い，懸命，喫する，導く，苦い，決まる，終える，大きい，逃げる，緩む，合わせる，乱れる，涼しい，重ねる，制する，決める，擁する，縮める，途切れる，苦しい，押す，敗れる，勝つ，込む，任す，切り替える，踏ん張る，ぶつかる，攻める，出揃う，返す，抜ける，嬉しい，繰り出す，揃える，良い，優秀，誓う，投げる，利く，欠く，僅か，徹する，踏む，立て直す，豪快，滑る，素直，伸ばす，噛み合う，行う，粘り強い，揃う，めでたい，入る，凄い，粘る，放す，飛ぶ，外れる，大事，寒い，緩める，泣く，凌ぐ，悩ます，巻き返す，浮かべる，強力，落ちる，クール-cool，仕留める，続く，痛める，引っ張る，休む，暑い，押さえる，際立つ，掴む，積み重ねる，狙う，破る，臨む，響く，勝ち越す，零す，下す，上回る，伸び悩む，明ける，奪う，押し切る，引き締める，締め括る，並ぶ，落とす，引き分ける，握る，落ち込む，着実，期する，兼ねる，振る，絶妙，有利，フル-full，崩れる，浴びる，㴉む，焦る，沈む，劇的，背負う，遠ざかる，固い，負ける，退ける，泳ぐ，食い込む，見せ付ける，領く，押し上げる，悔しい，喜ぶ，果たす，上がる，見せる，退く，思い切る，手厚い，素晴らしい，突き放す，組む，確実，切る，熟す，乗り越える，鮮やか，噛み締める，躲す，絞る，伸びる，抜群，崩す，許す，上げる，取り戻す，厳しい，見事，零れる，強い，言い聞かせる，押し込む，飛ばす，単独，逃す，突き落とす，飾る，追い込む，追い上げる，淡々，下回る，放つ，見据える