# 異なる時期での意味の違いを捉える単語分散表現の結合学習

単語は時期や分野の違いによって異なる意味や用例を持つことがあり，自然言語処理 の分野では単語分散表現を用いた検出が行われている。最近では文脈の情報を考慮 した単語分散表現を生成できる BERT などを用いた研究も盛んに行われているが,大規模な計算資源のない言語学者や社会学者などはこのような手法を適用するのが 難しい，本稿では，既存の文書間で同時に単語分散表現を学習する手法を拡張して， 2 つの文書間における単語の意味の違いを検出するタスクに取り組んだ. 実験の結果より，我々の手法が英語での実験や SemEval-2020 Task 1 だけでなく，これまで 行われていない日本語の実験においても既存手法と同等またはそれ以上の性能を示 した。また, 各手法が単語分散表現の獲得までにかかる訓練時間の比較を行った結果，提案した手法が既存手法よりも高速に学習できることを示した. さらに，提案 した単語分散表現獲得手法を用いて, 日本語のデー夕において意味変化した単語や 意味変化の種類, 傾向などの網羅的な分析も行った.

キーワード：意味変化，単語分散表現
## A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences

\author{
Taichi Aida ${ }^{\dagger}$, Mamoru Komachi ${ }^{\dagger}$, Toshinobu Ogiso $^{\dagger \dagger}$, \\ Hiroya Takamura ${ }^{\dagger \dagger \dagger}$ and Daichi Mochihashi ${ }^{\dagger \dagger \dagger}$
}

The task of detecting words with semantic differences across corpora is primarily addressed by word representations such as Word2Vec or BERT. However, there are no abundant computing resources available in the real world where linguists and sociologists apply these techniques. In this paper, we extend an existing CPU-trainable model which trains vectors of all time periods simultaneously. Experimental results demonstrate that the extended models achieved comparable or superior results to strong baselines in English corpora, SemEval-2020 Task 1, and Japanese. Furthermore, we compared the training time of each model and conducted a comprehensive analysis of Japanese corpora.

Key Words: Semantic Change, Word Representation


## 1 はじめに

単語は異なる時期間や分野間で異なる意味や用法を持つことがある. 例えば, meat は古英語で「食べ物全般」を意味していたが，近代英語では「動物の肉」という狭い意味で使われるようになった. また, interface は一般的に「物体の表面」という意味で使われるが, 情報科学の分野では「利用者とコンピュータを結びつけるシステム」という意味で使われている。記のような時期間や分野間で意味や用法の変わる単語を自動で検出する手法は, 言語学・社会学や辞書学だけでなく, 情報検索においても有用である (Kutuzov et al. 2018). 本稿ではこれ以降,時期の違いによる意味の変化に焦点を絞って言及する.

近年, このような変化を検出する方法として, 単語を周辺単語との共起情報を基にベクトルで表現する単語分散表現が広く用いられている. 例として, 1900 年代と 1990 年代における単語 coach の単語ベクトルとその周辺単語ベクトルを図 1 に示す. 図より, coach の周辺単語が乗り物関連からスポーツ関連に変化していることがわかる。最終的な意味変化の度合いについては，学習した単語べクトル $\overrightarrow{\operatorname{coach}}_{1900 s}$ と $\overrightarrow{\operatorname{coach}}_{1990 s}$ のユークリッド距離や余弦類似度などの尺度を用いられることが多い。上記のように異なる時期の文書情報を考慮した単語分散表現は,各時期で独立に訓練した単語分散表現に対応づけを行うなどをして獲得する (Kim et al. 2014; Kulkarni et al. 2015; Hamilton et al. 2016b). 対応づけによる手法は主に Word2Vec (Mikolov et al. 2013)などの文脈を考慮しない単語分散表現を対象としているため, 実装が容易で計算コストも低いことから, 大規模な計算資源を持たない研究者でも導入することができる (Sommerauer and Fokkens 2019; Zimmermann 2019). しかし，対応づけによる手法は「各文書で学習したべクトル空間を線形変換で対応づけできる」という強い仮定をおいている. そこで近年, 対応づ

図 11900 年代から 1990 年代にかけて, 学習した単語 coach のベクトルとその周辺単語のベクトルが変化する様子.

けを回避する 2 つの手法が提案された (Yao et al. 2018; Dubossarsky et al. 2019).

まず, Yao et al. (2018) は各時期の単語分散表現を同時に学習する Dynamic Word Embeddings を提案した。この手法は回転行列などによる対応づけが不要だが， 2.1 節式 (3) に示すように，設定に敏感な 3 つのハイパーパラメータが存在するため, 膨大な組み合わせ数の設定から最適なハイパーパラメータを探索する必要がある.

次に，Dubossarsky et al. (2019) は全ての時期の文書をただ1つの文書とみなし，事前に用意したリストに載っている単語だけ時期を区別してべクトルを学習する Temporal Referencing を提案した. この手法は 1 つに結合した文書で単語分散表現を学習すれば良いことから非常に導入しやすいが，リストに載っていない単語は文書間で変化しないと仮定しているため，事前によく選定された対象単語のリストを用意する必要がある.

また，時期を考慮した単語分散表現を獲得する手法だけでなく，それらを用いた分析においてもいくつかの問題がある. 1つ目は, 時期を考慮した単語分散表現を獲得する手法が数多く提案されているにも関わらず，それらの性能の定量的な比較があまり行われていないことである (Schlechtweg et al. 2019; Shoemark et al. 2019; Tsakalidis and Liakata 2020; Schlechtweg et al. 2020).これは主に評価で対象の文書間で意味の変化した単語を用意する必要があるためである. 比較が行われていても，多くが英語やドイツ語などのヨーロッパ圈の言語を対象としており, 複数の言語での比較は少ない (Schlechtweg et al. 2020). 2 つ目は, 意味変化が自明な単語に絞った定性的な分析が多いことである．特に英語においては，「陽気な」という意味から「同性愛者」という意味を持つようになった gay という単語についての分析が多く (Kim et al. 2014; Kulkarni et al. 2015; Hamilton et al. 2016b; Hu et al. 2019)，意味の変化が自明でない単語に注目されることは少ない (Gonen et al. 2020).

そこで本研究では, これらの問題に対して以下のように取り組む。まず, 手法の問題を解消するために, Dubossarsky et al. (2019)の Temporal Referencing に対して2つの拡張を行う. 1 つ目は, 単語べクトルの学習の際に選定した語彙に含まれるすべての単語を対象単語とすることである。このように拡張することで，対象単語のリストを事前に用意する必要が無くなり, リストに載っていない単語の意味が変化することによる分析漏れなども避けることができる。また, 単語べクトルの変化量から, 自明でない単語の意味変化を検出することが可能になる． $2 \supset$目は, 周辺単語べクトルも文書間での変化を考慮することである。一般的に動的な単語分散表現 (Yao et al. 2018)でない限り, 学習した単語分散表現の対象単語べクトルは文書間で獲得されるが, 一緒に学習される周辺単語べクトルは文書間で固定されているか, 対応が取れていないことが多い (Kim et al. 2014; Kulkarni et al. 2015; Hamilton et al. 2016b; Dubossarsky et al. 2019). そこで, Dynamic Word Embeddings のように周辺単語ベクトルも文書間での変化を考慮するような拡張を行う.

次に, 実験において, 複数の言語での性能比較および網羅的な分析を行った. 定量的な分析に

おいては, 各手法で意味変化した単語の検出性能を評価した. SemEval-2020 Task 1 (Schlechtweg et al. 2020) で 4 つの言語において提案した拡張方法による効果を検証した後に, 英語と日本語の 2 つの言語において先行研究と提案した拡張手法の性能を比較した. 先行研究との比較の際には, 意味変化を検出する性能だけでなく, 単語分散表現の学習に要する計算時間も比較した.定性的な分析においては, 先行研究によって意味の変化が報告されている単語だけでなく, 意味の変化が自明でない単語についても，網羅的な分析を行った.

本稿の構成を示す. 第 2 節では時期を考慮した単語分散表現を獲得するための先行研究および既存手法の問題点について述べる。第 3 節では既存手法の問題点を解消するための拡張方法を提案する。第 4 節と第 5 節では提案手法と既存手法について, 意味変化した単語の検出性能を比較する. 第 6 節では各手法が検出した単語や, 意味変化の種類・傾向について分析を行う.最後に, 第 7 節で本研究の結論を述べる 1.

## 2 関連研究

## 2.1 文脈を考慮しない単語分散表現を用いた手法

初期の段階では，各時期の頻度情報を用いた分析・検出が行われていた (Sagi et al. 2009; Cook and Stevenson 2010; Gulordava and Baroni 2011)．しかし，意味の変化が頻度の増減によって決まるとは限らないため, 単語の意味を直接表現する必要がある. そのような状況の中で, Mikolov et al. (2013) が単語の意味をべクトル空間上で表す Word2Vec を提案し, 数多くの研究で用いられるようになった. この手法では一般的に1つの文書に対して1つの単語分散表現を学習するため, 時期の異なる複数の文書で学習を行うと文書ごとに異なるべクトル空間が得られ，直接比較することができない. 図 1 のように通時的な単語分散表現を獲得するには, 各時期でのベクトル空間を対応させる必要がある。そのために, Kim et al. (2014) は時期 $t$ の単語分散表現の初期値を時期 $t-1$ の単語分散表現で初期化することで, 時期間で対応の取れた単語分散表現の獲得手法を提案した．近年では Kaji and Kobayashi (2017) によって Word2Vec の動的な学習方法が提案され, より効率的に学習を行えるようになった。その後, Kulkarni et al. (2015) と Hamilton et al. (2016b) は各文書で独立に学習した単語分散表現を線形変換で対応づける手法を提案した. Kulkarni et al. (2015) は対象単語以外のほとんどの単語は意味が変化しないという仮定のもと, ある対象単語 $w$ の時期 $t$ での単語べクトル $\mathbf{W}_{t}(w)$ と時期 $t+1$ での単語べクトル $\mathbf{W}_{t+1}(w)$ を対応づける線形変換 $\mathbf{R}(w)_{t \mapsto t+1}$ を以下のように獲得した

$
\left.\underset{t \mapsto t+1}{\mathbf{R}(w)}=\underset{\mathbf{R}}{\operatorname{argmin}} \sum_{s \in k-\mathrm{NN}} \| \mathbf{W}_{t}(w)\right) \mathbf{R}-\mathbf{W}_{t+1}(s) \|_{F}^{2}
$


ここで, $k-\mathrm{NN}\left(\mathbf{W}_{t}(w)\right)$ は $\mathbf{W}_{t}(w)$ における上位 $k$ 個の近傍単語であり, $\|\cdot\|_{F}$ はフロベニウスノルムである. Hamilton et al. (2016b) も同様の仮定のもと, 時期 $t$ の単語分散表現 $\mathbf{W}_{t}$ と時期 $t+1$ の単語分散表現 $\mathbf{W}_{t+1}$ を対応させる回転行列 $\mathbf{R}_{t \mapsto t+1}$ を以下のように獲得した

$
\underset{t \mapsto t+1}{\mathbf{R}}=\underset{\mathbf{R}: \mathbf{R R}^{\top}=1}{\operatorname{argmin}}\left.\|\mathbf{W}_{t} \mathbf{R}-\mathbf{W}_{t+1}\right.\|_{F}^{2} .
$

この回転行列を用いた手法は，時期の異なる 2 つの文書において意味の変化した単語を検出するタスクにおいて，頻度による手法を上回ることが報告されている (Schlechtweg et al. 2019). しかし, これらの線形変換に基づく対応づけによる手法は, 異なる文書で学習したべクトル空間を線形変換で対応づけすることができるという強い仮定をおいている。このような仮定は時期の近い文書を比較する際には有用かもしれないが，時期が大きく離れている場合には，それぞれのべクトル空間を正しく対応づけできない可能性がある.

そこで，上記の線形変換による問題を避けるため, Yao et al. (2018) は Dynamic Word Embeddings (DWE) を提案した。この手法は各時期の単語分散表現を同時に学習するため, 線形変換による対応づけを必要としない. ある時期 $t$ の単語ベクトルの集合 $\mathbf{W}_{t}$ は以下の目的関数を最小化することで獲得できる

$
\begin{aligned}
\frac{1}{2} \sum_{t=1}^{T} & \left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\gamma}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}-\mathbf{C}_{t}^{\top}\right.\|_{F}^{2} \\
& +\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{W}_{t+1}-\mathbf{W}_{t}\right.\|_{F}^{2} \\
& +\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}^{2}
\end{aligned}
$

ここで $\mathbf{M}_{t}$ は時期 $t$ の positive pointwise mutual information (PMI) 行列, $\mathbf{C}_{t}$ は時期 $t$ の周辺単語ベクトル集合を示す. 訓練では, 学習パラメータである $\mathbf{W}_{t}, \mathbf{C}_{t}$ をランダムに初期化し,各時期の PMI 行列をもとに行列分解に適したブロック座標降下法で更新する ${ }^{2}$. また， $\gamma, \lambda, \tau$ はそれぞれハイパーパラメータであり， $\gamma$ は同じ時期における単語ベクトルと周辺単語ベクトルの対応づけの強さ， $\tau$ は各べクトルにおける隣接する時期間での対応づけの強さを制御し, $\lambda$ は正則化の強さを制御する。この手法は同じ単語の同じ時期におけるべクトル $\left(\mathbf{W}_{t}, \mathbf{C}_{t}^{\mathbf{T}}\right)$ および同じ単語の隣接する時期におけるべクトル $\left.\{\left(\mathbf{W}_{t}, \mathbf{W}_{t+1}\right),\left(\mathbf{C}_{t}, \mathbf{C}_{t+1}\right)\right.\}$ は近いことを仮定している。したがって，この手法には設定に敏感な 3 つのハイパーパラメータがあり，膨大な組み合わせ数の設定から適切なハイパーパラメータを探索する必要がある.

線形変換や動的な単語分散表現の問題を回避するために, Dubossarsky et al. (2019) は各文

書を 1 つの大きな文書とみなして単語分散表現を同時に学習する Temporal Referencing を提案した。時期の異なる文書を 1 つの大きな文書とみなし, 事前に与えられた対象単語のリスト $L=\left.\{w^{1}, w^{2}, \ldots, w^{|L|}\right.\}$ に載っている単語のみ時期ごとに区別して単語分散表現の学習を行う.

$
\begin{cases}\mathbf{W}_{1}\left(w^{i}\right), \ldots, \mathbf{W}_{t}\left(w^{i}\right), \ldots, \mathbf{W}_{T}\left(w^{i}\right) & w^{i} \in L \\ \mathbf{W}\left(w^{i}\right) & w^{i} \notin L\end{cases}
$

しかし，実際に任意の文書間で分析を行う場合において，適切に選定された対象単語リストを事前に用意するのは労力を要する.

## 2.2 文脈を考慮した単語分散表現を用いた手法

2.1 節で取り上げた Word2Vec などの単語分散表現は 1 つの文書において 1 単語に 1 つのべクトルを割り当てているが，近年提案された BERT (Devlin et al. 2019) などに代表される事前訓練済み言語モデルは文ごとに単語のべクトルを獲得できるため，主に多義語の通時的な分析に用いられている. Hu et al. (2019) は各意味における辞書の例文から各意味の教師べクトルを獲得して, 文書に含まれる各文における対象単語の意味を教師べクトルとの類似度に基づいて分類する手法を提案し, gay や tape などの多義語について, 主要な意味の時間変化を分析した. Giulianelli et al. (2020) は辞書の代わりに $k$-means を用いて単語の意味のクラスタリングを行う手法を提案し，辞書のような教師情報なしに多義語における通時的な意味の時間変化を分析した。一般的に， BERT のような文脈を考慮した単語べクトルを獲得できる手法は，意味変化検出タスク SemEval-2020 Task 1 において Word2Vec などの文脈を考慮しない単語分散表現より劣ることが報告されている (Kutuzov and Giulianelli 2020; Martinc et al. 2020b; Laicher et al. 2021; Montariol et al. 2021). しかし, 最近では, 文に $\langle 2022\rangle$ などの時期トークンを付与したり，時期ベクトルを学習する注意機構を追加したりして事前訓練済み言語モデルに時期を考慮した調整を加えることで意味変化検出の性能が向上し， SemEval-2020 Task 1 で最高性能を獲得することが報告された (Rosin et al. 2022; Rosin and Radinsky 2022).

上記で取り上げた手法は，調査対象の言語において事前訓練済みの言語モデルが存在する前提だが， mBERT (Devlin et al. 2019) や XLM-R (Conneau et al. 2020) などの多言語モデルでも対応しているのはせいぜい 100 言語である. しかし, 対応外の言語で分析を行うためにモデルを一から訓練するには膨大な計算資源を必要とするため，潤沢な計算資源を持たない言語学者や社会学者には困難である。したがって，本研究では，少ない計算資源でも手軽に学習できる 2.1 節のような文脈を考慮しない単語分散表現に基づいた手法に着目する.

## 3 提案法

本研究では, 先行研究である Temporal Referencing に対して, 2 つの拡張手法を提案する.

## 3.1 ベースとなる単語分散表現：PMI-SVD

最初に, 本研究の基盤となる Levy and Goldberg (2014)による研究について説明する. 彼らは図 2 のように, 対象単語-周辺単語の PMI 行列を Singular Value Decomposition (SVD) で次元削減した結果が Word2Vec の Skip-Grams with Negative Sampling (SGNS) モデル (Mikolov et al. 2013) と等価であることを示した. 具体的には対象単語 $w$, 周辺単語 $c$, 及びそれらの共起する確率を $p(w), p(c), p(w, c)$ とすると, 単語分散表現は以下の手順で獲得できる. 最初に, $\mathrm{PMI}$ 行列 $\mathbf{M} \in \mathbb{R}^{W \times C}$ （ $W$ と $C$ はそれぞれ対象単語数，周辺単語数を示す）を以下のように求める

$
\mathrm{M}[w, c]=\max \left(\log \frac{p(w, c)}{p(w) p(c)}, 0\right)
$

Levy and Goldberg (2014) の研究では SGNS は Shifted Positive PMI と等価であることを示していた.しかし, その後の彼らの研究により, Shifted Positive PMI は情報を減らしてしまうばかりで性能に貢献しないことが示された (Levy et al. 2015) ため, 本研究では標準的な Positive PMI を使用した。次に，PMI 行列 M をSVD で以下のように行列分解する

$
\mathbf{M}=\mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^{\top}
$

ここで U と V は直交行列を示し， $\mathbf{\Sigma}$ は $\mathrm{M}$ の固有値が大きい順に格納された対角行列を示す. 最終的に, 目的の $d$ 次元の対象単語ベクトルの集合 $\mathbf{W} \in \mathbb{R}^{W \times d}$ と周辺単語ベクトルの集合 $\mathbf{C}^{\top} \in \mathbb{R}^{C \times d}$ は以下のようにして獲得できる

$
\mathbf{W}=\mathbf{U} \boldsymbol{\Sigma}^{1 / 2}, \mathbf{C}^{\top}=\mathbf{V} \boldsymbol{\Sigma}^{1 / 2}
$

図 2 PMI-SVD (Levy and Goldberg 2014) の概要図。対象単語 apple とその周辺単語 eat, computer の共起情報から自己相互情報量を計算して次元削減を行うことで, Word2Vec と等価な対象単語べクトルの集合 $\mathbf{W}$ と周辺単語ベクトルの集合 $\mathbf{C}$ を獲得できる。

この手法をもとに, Temporal Referencing に対して2つの拡張を行う.

Temporal Referencing に対する 1つ目の拡張として, 語彙に含まれる全ての単語を対象単語とした. ここで先行研究と同様に, 周辺単語べクトルの集合 C が文書 A と B において変化しないと仮定すると，各文書の $P M I$ 行列 $\mathbf{M}_{\mathrm{A}}, \mathbf{M}_{\mathrm{B}}$ を結合した $\mathbf{M}=\left[\mathbf{M}_{\mathrm{A}} ; \mathbf{M}_{\mathrm{B}}\right]$ をまとめて次元削減することで, 文書間の対応の取れた単語分散表現を獲得できる（図 3）

$
\left[\begin{array}{l}
\mathbf{M}_{\mathrm{A}} \\
\mathbf{M}_{\mathrm{B}}
\end{array}\right]=\left[\begin{array}{l}
\mathbf{W}_{\mathrm{A}} \\
\mathbf{W}_{\mathrm{B}}
\end{array}\right][\mathbf{C}]
$

## 3.3 拡張 2 : 文書間における周辺単語べクトルの変化を考慮する PMI-SVD ${ _{c}$}

2 つ目の拡張として, 周辺単語ベクトルの文書間の変化を考慮する (図 4). 各文書の周辺単語ベクトル $\mathbf{C}_{\mathrm{A}}, \mathbf{C}_{\mathrm{B}}$ を獲得する単純な方法として各文書で計算した PMI 行列をそれぞれ独立に行列分解する方法が挙げられるが，そのように獲得した単語分散表現は文書間での対応がとれない，そこで，本研究では各文書の周辺単語ベクトルに制約条件を与えることによって, DWE のように文書間で対応のとれた単語分散表現を獲得する。訓練において最小化する目的関数を以下に示す

$
\sum_{y \in\{A, B\}}\left.\|\mathbf{M}_{y}-\mathbf{W}_{y} \mathbf{C}_{y}\right.\|_{F}+\tau\left.\|\mathbf{C}_{\mathrm{B}}-\mathbf{C}_{\mathrm{A}}\right.\|_{F}
$

ここで， $\tau$ は対応づけの強さを制御するハイパーパラメータである. DWE と同様に，各時期の PMI 行列をもとにランダムに初期化した学習パラメータ $\mathbf{W}_{t}, \mathbf{C}_{t}$ をブロック座標降下法で更新

図 3 PMI-SVD ${ }_{\text {joint }}$ の概要図. 各文書 $\mathrm{A}, \mathrm{B}$ で対象単語 apple とその周辺単語 eat, computer の自己相互情報量を計算し, 同時に次元削減を行うことで, 文書間で対応の取れた単語分散表現を獲得できる.

図 4 PMI-SVD ${ }_{c}$ の概要図. Dynamic Word Embeddings (Yao et al. 2018) のように制約条件を加え，周辺単語ベクトルの文書間での変化を考慮しながら文書間で対応の取れた単語分散表現を獲得する。

する ${ }^{3}$.この手法は DWE に似ているが, DWE と比較して単語ベクトルと周辺単語ベクトルの対応づけの強さおよび正則化の強さを制御するハイパーパラメータを持たず，探索すべきハイ

必要な時間の比較を行う.

## 4 実験 1

本節では，提案した拡張手法による効果を検証するため, 2 つの拡張手法 PMI-SVD joint , PMI$\mathrm{SVD}_{c}$ と既存手法 Temporal Referencing の性能の比較を行う.

## 4.1 概要

SemEval-2020 Task 1 (Schlechtweg et al. 2020) で性能の比較を行った. SemEval-2020 Task 1 は時期の離れた 2 つの文書間で与えられた単語の意味変化を検出する共通タスクであり，分類と順位付けの 2 つのサブタスクに分かれている。分類タスクでは，2つの文書間で与えられた単語の意味が変化したかどうかを分類し，分類の精度を評価する。順位付けタスクでは，与えられた単語を意味変化の度合いで並び替えを行い，スピアマンの順位相関係数で評価を行う。

上記の 2 つのサブタスクについて，英語・ドイツ語・ラテン語・スウェーデン語の 4 つの言語で評価を行う．各言語における時期の区別とデータ量を表 1 に示す.

## 4.2 実験設定

今回の実験では，与えられた対象単語と両方の文書で 100 回以上出現した単語を語彙とし，頻度行列を作成する際の文脈空幅は前後 4 単語, PMI 行列の次元削減で得る単語ベクトルは 100


$\left.\{10^{-3}, 10^{-2}, \ldots, 10^{3}\right.\}$ のうち 4 つの言語全てで最も安定して学習した $\tau=1$ とした. 予測では,与えられた対象単語に対して時期間のべクトルの余弦類似度を使用した. 分類タスクでは, 先行研究と同様に対象単語の類似度の平均を閾値として分類を行った (Pražák et al. 2020). 順位付けタスクでは，時期間の類似度が低い順に対象単語の順位付けを行った。以上の条件で，既存手

の性能を比較した。

## 4.3 結果と考察

PMI-SVD ${ }_{c}$ はどちらも既存手法 PMI-SVD $\operatorname{tr}$ の性能を上回っていることがわかる. また, PMI$\mathrm{SVD}_{\mathrm{tr}}, \mathrm{PMI}-\mathrm{SVD}_{\text {joint }}$ はデー夕量の少ないラテン語での性能が他の言語に比べて低いが, PMI$\mathrm{SVD}_{c}$ では他の言語と同等の性能を獲得し, 言語間の平均で最も高い性能であることが確認できる。

次に，順位づけタスクの結果を表 3 に示す. 英語では既存手法 PMI-SVD $\mathrm{Pr}_{\mathrm{tr}}$ の性能が高いが,

表 1 SemEval-2020 Task 1 のデータセット．時期の離れた 2 つの文書 $C_{1}, C_{2}$ から与えられた単語の意味変化を検出し， 4 つの言語で性能を評価する。 \#tokens は延べ語数, \#types は異なり語数を示す.

表 2 SemEval-2020 Task 1 の Subtask 1 意味変化の有無を分類するタスクの結果. En, De, La, Sv, Avg. はそれぞれ英語，ドイツ語，ラテン語，スウェーデン語および 4 つの言語の平均を示す.

いることがわかる.このタスクでは特に既存手法および PMI-SVD joint のラテン語での性能が低いが, PMI-SVD ${ }_{c}$ が大幅に性能を向上した.

以上の結果より，提案した 2 つの拡張手法によって文書間における単語の意味変化の検出性能を向上させることが確認できた. 1 つ目の拡張「語彙に含まれる全ての単語を対象語にする」 が性能を向上させた理由として，与えられた対象単語以外にも意味や用法の変化した単語が存在したことが挙げられる。今回の SemEval-2020 Task 1 では人手で選択されたいくつかの単語だけが評価の対象となっているが，それ以外の単語が大規模なデー夕内で意味や用法が変化している可能性がある。既存手法 PMI-SVD tr では対象単語以外の単語について文書間で比較が

が低い順に意味変化の可能性が高い単語を出力した結果を表 4 に示す. 表 4 より，英語・ドイツ語・スウェーデン語では固有名詞が上位に多く出現していることが確認できる．ラテン語では固有名詞が 2 つしか出現していないが，それ以外の単語はほとんど副詞であった。ここで検出した固有名詞や副詞は与えられた対象単語に含まれていないが, 時代によって周辺文脈が異

表 3 SemEval-2020 Task 1 の Subtask 2 対象単語の順位づけタスクの結果. En, De, La, Sv, Avg. はそれぞれ英語, ドイツ語, ラテン語, スウェーデン語および 4 つの言語の平均を示す.

 \\

() の中はその単語の品詞であり，（名），（動），(形），（副），（代），（接）はそれぞれ名詞, 動詞, 形容詞, 副詞, 代名詞, 接続詞を示す.また, 太字は固有名詞を示す.

なるため，上位に出現したのだと考える。Temporal Referencing では与えられた対象単語だけが意味変化すると仮定し, それ以外の単語は複数の文書でまとめて 1 つのべクトルのみ学習するため, 今回の固有名詞や副詞のように対象から外れているが用例の異なる単語のべクトルがノイズとなっていたのだと考える.

2 つ目の拡張「周辺単語ベクトルの変化を考慮する」が主にラテン語での性能を大幅に向上させた要因として, 時間経過に伴う周辺単語の変化が挙げられる. 従来の手法を基にしている PMI-SVD $_{\mathrm{tr}}$ や PMI-SVD joint では各時期に対応した単語べクトルの学習時に周辺単語ベクトルを固定していた（図 3）ため, ラテン語のような時期が大きく離れている文書間での性能が低くなっていたのだと考える。そこで, 周辺単語べクトルも各時期で作成することで上記の問題を回避し, 時間が大きく離れて周辺単語が大きく変わったラテン語のような状況でも他の言語と同様の性能を獲得したのだと考える.

## 4.4 まとめ

本節では, 提案した 2 つの拡張手法 PMI-SVD joint, PMI-SVD $_{c}$ と既存手法 Temporal Referencing の性能の比較を行った。時期の異なる 2 つの文書間で与えられた対象単語の意味変化を検出する SemEval-2020 Task 1 において 4 つの言語で性能を比較したところ，提案した 2 つ拡張手法が既存手法の性能を上回ることを示した，今回のデータでは与えられた対象単語以外の固有名詞や副詞といった単語が時期によって周辺文脈が異なるため, 文書間でただ 1 つのべクトルにまとめるのではなく, 全ての単語を対象単語として考慮することで性能が向上することを確認した. また, 周辺単語ベクトルの変化を考慮することによって, データ量の少ないラテン語における性能を大幅に改善することがわかった.

## 5 実験 2

本節では，提案した 2 つの拡張手法といくつかの代表的な先行研究について，意味変化を検出する性能を比較した。

## 5.1 データ

ここでは, 日本語と英語の 2 つの言語で比較を行った. 実験に使用したコーパスの統計量を表 5 に示す。英語では， Corpus of Historical American English (COHA)4を用いた。 COHA は 10 年ごとに文書が分かれているため, 1900 年代と 1990 年代の文書を対象にした. Hamilton et al. (2016b) と同様に, ストップワードと固有名詞を取り除き, 両方の文書で 100 回以上出現する
^{4}$ https://www.english-corpora.org/coha/
}

 & \#types & 時期 &  & \#types \\

日本語 & $1874-1944$ & $17 \mathrm{M}$ & $152 \mathrm{k}$ & $1945-1997$ & $16 \mathrm{M}$ & $127 \mathrm{k}$ \\

表 5 データセットの統計量. 時期の離れた 2 つの文書 $C_{1}, C_{2}$ から単語の意味変化を検出する. \#tokens は延べ語数, \#types は異なり語数を示す.

名詞・動詞・形容詞・副詞を対象単語とした，日本語では，日本語歴史コーパス 5 を用いた，実験では第二次世界大戦の前後で文書を分け，英語と同様に両方の文書で 100 回以上出現する名詞・動詞・形容詞（形状詞は除く）・副詞を対象単語とした.

## 5.2 比較手法

行研究を比較した.
- Word2Vec $v i$ (Kim et al. 2014): 古い時期の文書（戦前, 1900 年代）の文書で Word2Vec SGNS モデルを訓練し，その結果を新しい時期の文書（戦後，1990 年代）の文書のモデルの初期値にして学習を行った。
- Word2Vec ${ }_{i n c r}$ (Kaji and Kobayashi 2017): 文書を与える度に動的にモデルを学習する incremental skip gram ${ }^{6}$ を適用し，最初に古い時期の文書を，次に新しい時期の文書を与えて学習を行った。
- Word2Vecalign (Hamilton et al. 2016b): 各文書で Word2Vec SGNS モデルを訓練し, 式 (2) の回転行列で対応づけを行った。
- PMI-SVD align (Hamilton et al. 2016b): 各文書で PMI-SVD を訓練し, Word2Vec align と同様に回転行列で対応づけを行った。
- DWE (Yao et al. 2018): 先行研究と同様に, ブロック座標降下法で式 (3) を最小化し,単語分散表現を獲得した。この手法および PMI-SVD $\left.\{10^{-3}, 10^{-2}, \ldots, 10^{3}\right.\}$ の中からグリッドサーチで探索し, Area Under the Curve の最も高い設定を採用した.
- BERT (Martinc et al. 2020a): 各時期の対象単語ベクトルは, 各時期の中における対象単語の全ての出現から文脈を考慮した対象単語のべクトルを獲得し, その平均を使用した. 両言語において, Huggingface ${ }^{7}$ で公開されている事前訓練済みの bert-base-uncased


モデルを使用した。

文脈を考慮しない単語分散表現を使った手法は，文脈密幅を前後 4 単語, 100 次元, contextual distributional smoothing を 0.75 とした. その後, 先行研究と同様に， 2 つの時期の単語分散表現に対して同時に all-but-the-top (Mu and Viswanath 2018)の後処理を行った (Kaiser et al. 2021).

## 5.3 評価

評価には, 先行研究と同様に平均逆順位 (mean reciprocal rank; MRR) を使用した (Kulkarni et al. 2015; Yao et al. 2018). 具体的には，時期間のベクトルの余弦類似度に応じて語彙中の単語を並べ替え，評価に使う意味の変化が報告されている単語の逆順位の平均を求める。平均逆順位は主に検索システムの評価に用いられ，目的の Web サイトを上位で検出できているほど値は大きくなり，優れたシステムであると評価される．また，各手法が意味の変化した単語を検出する様子を可視化するために, 再現率でも評価を行った (Kulkarni et al. 2015).

## 5.4 結果と考察

## 5.4.1疑似データでの評価実験

まず，2つの時期で完全に意味が変化する場合の性能を確認するため, Shoemark et al. (2019) と同様に，意味変化する単語を擬似的に生成して評価を行った，具体的には，新しい時期の文書で単語 $\beta$ （例：「景色」）が含まれる全ての文に対して単語 $\alpha$ （例：「友」）で置き換え，本来の単語 $\alpha$ が出現する全ての文に対して単語 $\alpha$ を削除することで， $\alpha$ の出現文脈集合から $\beta$ の出現文脈集合へと変化する単語 $\alpha^{\prime}$ を擬似的に生成した。

（置換：変更前）その辺りは，フランスの國道にそった景色のよいところですから，

(1947 年, 文部省『小学校国語 6 期』, 国語第五学年 $)^{8}$

（置換：変更後）その辺りは，フランスの國道にそった友のよいところですから，

（削除：変更前） 世界の友よ，手をつなぎ，なかよくとんであそぼうよ.

(1947 年, 文部省『小学校国語 6 期』, 国語第三学年 $)^{9}$

（削除：変更後） 世界の(削除)よ，手をつなぎ，なかよくとんであそぼうよ．

置換する単語ぺアの意味が似ている場合，擬似的に生成した単語の意味変化の度合いが小さくなってしまうため，単語ぺアはなるべく意味が離れているか無関係であることが望ましい，そこで本研究では，両方の時期でそれぞれ獲得した PMI 行列の各行の余弦類似度の絶対値が 0.01 以下である単語ぺアの中からランダムに 50 ペア抽出し，文脈が完全に変化する単語を擬似的に生成した。実験では，10 単語をハイパーパラメータ探索に，残りを評価に使用した。

図 5(a)，5(b) は疑似データにおける各手法の Recall@ $k$ を示す。提案した 2 つの拡張手法は DWE のように，擬似的に生成した意味の変化する単語をほぼ正確に検出できていることがわかる.これらの図及び平均逆順位（表 6）より，提案した拡張手法は先行研究と同等またはそれ以上の性能であることを示した.

意味が完全に変わる場合では性能が低いことが確認できた。このことから，学習した単語分散表現を線形変換で対応づけができるという仮定は強すぎるのではないかと考える。

また, 先行研究より, 古い時期で訓練した単語べクトルを新しい時期の単語べクトルの初期値とする手法 Word $2 \mathrm{Vec}_{v i}$, Word2 $\mathrm{Vec}_{i n c r}$ は線形変換で対応づけを行う手法 PMI-SVD ${ }_{\text {align }}$,

(a) 英語

(b) 日本語

図 5 各手法が擬似的に意味の変化した単語を検出する様子，縦軸は上位 $k$ 単語における再現率 (Recall@ $k$ ),横軸は考慮する上位の単語数 $k$ を示す.

表 6 擬似的に生成した単語における平均逆順位 (MRR)。*は事前訓練で外部のデータを使用していることを示す.

Word2Vec $_{\text {align }}$ に劣ると報告されていた (Schlechtweg et al. 2019, 2020) が，今回の実験設定では

果（表 3）より, 意味変化検出の性能は分析対象の言語や時期によって大きく変わる可能性があるため, 多様な言語や時期間を対象とする言語学や社会学へ応用するためには任意の言語や時期間で安定する手法の検討が必要である.

## 5.4.2実データでの評価実験

次に，実際に意味の変化が報告されている単語を用いて評価を行った．英語では word sense change testset ${ }^{10}$ をハイパーパラメータ探索に，Kulkarni et al. (2015) が作成したリストを評価に使用した。日本語では, 間淵, 小木曽 (2021) が作成したリストをハイパーパラメー夕探索と評価に使用した。

再現率を図 6(a)，6(b) に，平均逆順位を表 7 に示す。結果より，提案した 2 つの拡張手法

表 7 より英語のデータにおける訓練時間を比較すると, PMI- SVD $_{\text {joint }}$ は非常に高速に動作し,

$る^{11}$

これまでの実験では，外部の大規模なデータで事前訓練された BERT-base モデル（12 層 768 次元）を使用してきた。ここでは，データを揃えて性能を比較するために，実験で対象にした

(a) 英語

(b) 日本語

図 6 各手法が実際に意味の変化した単語を検出する様子．縦軸は上位 $k$ 単語における再現率 (Recall@ $k$ ),横軸は考慮する上位の単語数 $k$ を示す.
$ (Intel Xeon $2.60 \mathrm{GHz}$, 全 56 コア）, $512 \mathrm{~GB}$ の RAM を備えた計算機で計測した.
}

表 7 実際に意味の変化が報告されている単語での平均逆順位 (MRR). 訓練時間の列は英語のデー夕における各手法の訓練に要する時間を示す。*は事前訓練で外部のデータを使用していることを示す. BERT-tiny, BERT-mini は今回の実験で対象にしたデータのみを使用して訓練したものである.

通時データ（5.1 節）だけを使用して BERT モデルを再訓練する。BERT-base の事前訓練に使用されたデータと比べると通時データの量は非常に少ないため，今回は BERT-tiny（2 層 128 次元）と BERT-mini（4層 256 次元）を訓練した ${ }^{12}$. 表 7 より，提案した 2 つ拡張手法が同じデータで訓練された BERT-tiny と BERT-mini の性能を上回ることを確認した. さらに，訓練時間を比較すると，BERT-tiny，BERT-mini は膨大な計算資源で 2 週間程度の訓練時間を要するのに対し，提案手法は軽量で高速に動作することがわかる.

## 5.5 まとめ

本節では，提案した 2 つの拡張手法といくつかの代表的な先行研究について, 英語と日本語の 2 つ言語で定量的な比較を行った．意味の変化する単語を擬似的に生成した場合では，提案した 2 つの拡張手法がほぼ完璧に意味の変化する単語を検出し，先行研究と同等またはそれ以上の平均逆順位を示した。実際に変化が報告されている単語を用いた場合でも，提案した $2 \supset$ の拡張手法が先行研究と同等またはそれ以上の平均逆順位を示した, また, 単語分散表現の学

先行研究 Dynamic Word Embeddings と比較してハイパーパラメータ探索に必要な時間を大幅に削減していることがわかった。
$ ，全 56 コア)， 512 GB の RAM を備えた計算機で計測した.
}

## 6 分析

本節では最初に, 定量的な比較実験（5.4.2 節）で優れた性能を示した BERT と提案手法の 1 つである PMI-SVD $c$ について, 定性的な分析を行った. 次に，単に意味変化の有無を予測するだけでなく, 意味変化の種類について先行研究の指標を用いて分析を行った. 最後に, 単語の意味変化の傾向について, 単語ベクトルの空間上で分析を行った.

## 6.1 意味変化の可能性が高い上位 10 単語

まず，各手法が時期間の余弦類似度に基づいて語彙中の単語を並べ替え, 意味変化の可能性が高いと予測した上位 10 単語を比較した。具体的には，各手法で時期間の余弦類似度が低い順に並べた単語について, その単語が出現する文を各時期のコーパスから 50 文抽出し, 各時期における意味について人手でアノテーションを行い，代表的な意味を集計した，日本語における結果を表 8 に示す.どちらの手法も「行い」や「欠け」といった 2 つの時期間で意味が変化した単語を検出できている事がわかる。また, BERT は「若く」,「公明」,「参議」,「幼稚」のように概念が追加・削除されることで意味が大きく変化する単語を，PMI-SVD P $_{c}$ はおおお」，「反面」のように元の概念が拡張されることで意味が多少変化する単語を捉えている． BERT は与えられた文全体を考慮して単語べクトルを算出し, PMI-SVD P $_{c}$ は周辺数単語の頻度情報から単語ベクトルを算出していることから，単語ベクトルを獲得する際の文脈空幅の違いによるものであると考える。

表 8 各手法において時期間の余弦類似度が低い順に並べた上位 10 単語と, 各時期における単語の意味の分析結果. 1 文字の単語は除外している.

## 6.2 意味変化した単語に対する近傍単語の変化

次に，意味変化をした単語の近傍単語の変化を分析した (Kim et al. 2014; Hamilton et al. 2016b). ここでは, 間淵, 小木曽 (2021)によって意味の変化が報告されている単語「了解（理解 $\rightarrow$ 承諾)」及び表 8 で今回検出した単語「欠け（物理的 $\rightarrow$ 概念的）」について，BERT と ${\mathrm{PMI}-\mathrm{SVD}_{c}}$ の近傍単語を比較した。それぞれの単語における近傍単語の変化を表 $9(\mathrm{a}), 9(\mathrm{~b})$ に示す. 意味変化が自明な単語「了解」は理解から承知へと意味が変化しており, 表 9 (a) からどちらの手法も適切に両方の意味を検出できているが，BERT は変化後の意味を持つ単語「承諾」,「承知」を変化前（戦前）に検出してしまっていることが分かる．今回の分析で検出した単語「欠け」は物理的な欠損から概念的な欠損へと変化していることを確認した．表 $9(b)$ より，どちらの手法も変化の前後で適切に近傍単語を検出できていることがわかる．以上の結果より，提案手法 PMI-SVD P $_{c}$ は意味変化が自明な単語だけでなく, そうでない単語についても適切に意味の変化を捉えられることが確認できた.

## 6.3 意味変化の種類

これまでの分析では，2つの時期間で意味が変化した単語を検出していたが，それがどのような変化であるかまでは予測できていない. Hamilton et al. (2016a) は，調査対象単語が緩やかに変化する言語的な変化または何らかの拍子に急激に変化する文化的な変化のどちらかを予測する指標を提案した. 最初に, global な指標として, 分析対象の時期 $t, t+1$ における対象単語 $w^{i}$ のベクトル $\mathbf{W}_{t}\left(w^{i}\right), \mathbf{W}_{t+1}\left(w^{i}\right)$ を以下のように直接比較する

$
\operatorname{global}_{t, t+1}\left(w^{i}\right)=1-\cos \left(\mathbf{W}_{t}\left(w^{i}\right), \mathbf{W}_{t+1}\left(w^{i}\right)\right)
$

(b) 欠け（物理的 $\rightarrow$ 概念的）

表 9 各時期における対象単語ベクトルの近傍 5 単語. 1 文字の単語は除外している.

表 10 言語的 (global > local), 文化的 $($ global < local) な意味変化の度合いが高い上位 5 単語.

次に, local な指標を以下のように算出する。まず，各時期 $t, t+1$ で対象単語 $w^{i}$ の上位 $k$ 個の近傍単語 $k-\mathrm{NN}\left(\mathbf{W}_{t}\left(w^{i}\right)\right), k-\mathrm{NN}\left(\mathbf{W}_{t+1}\left(w^{i}\right)\right)$ を獲得する. その後, 各時期の近傍単語を結合し

$
L_{t, t+1}\left(w^{i}\right)=k-\mathrm{NN}\left(\mathbf{W}_{t}\left(w^{i}\right)\right) \cup k-\mathrm{NN}\left(\mathbf{W}_{t+1}\left(w^{i}\right)\right)
$

時期 $t$ における対象単語 $w^{i}$ と $L_{t, t+1}\left(w^{i}\right)$ に含まれる近傍単語 $w^{j}$ のベクトルの類似度を $\left|L_{t, t+1}\left(w^{i}\right)\right|$ 次元のベクトル $\mathbf{s}_{t}$ に格納する

$
\mathrm{s}_{t}[j]=\cos \left(\mathbf{W}_{t}\left(w^{i}\right), \mathbf{W}_{t}\left(w^{j}\right)\right), \forall w^{j} \in L_{t, t+1}\left(w^{i}\right)
$

最終的に，得られた類似度べクトル $\mathbf{s}_{t}, \mathbf{s}_{t+1}$ の変化を算出する

$
\operatorname{local}_{t, t+1}\left(w^{i}\right)=1-\cos \left(\mathbf{s}_{t}, \mathbf{s}_{t+1}\right) .
$

以上の global と local の 2 つの指標の差を計算したところ，英語において，言語的に変化する副詞などの単語は global の値が大きく, 文化的に変化する名詞や動詞などの単語は local の値が大きいことが報告されている (Hamilton et al. 2016a).

そこで，この指標を用いて，言語的・文化的それぞれの変化が強い単語を日本語のデータで分析する。結果を表 10 に示す。言語的な変化と予測された単語の中には，「老婆」や「心情」のように，時間経過とともに限定的な使われ方をするようになる単語が見られた。一方，文化的な変化と予測された単語の中には,「氾監」のようにより広い使われ方に拡張された単語や「分離」のようにある用法が急激に使われるようになった単語が見られた，以上の結果より，先行研究とは異なるが, global と local の 2 つの指標を組み合わせることで, 限定的な使われ方をする単語と拡張された意味で使われるようになる単語を検出できることがわかった.

## 6.4 意味変化しやすいべクトルの特徴

ここでは，どのような単語べクトルが変化しやすいのか，また，変化しやすい単語べクトル

には空間的な特徴があるのかについて分析を行った。日本語のデー夕において, 古い時期（戦前）の単語べクトルを入力として与え, そのべクトルの変化量を予測する回帰問題として定式化を行った. 今回は, PMI-SVD ${ }_{c}$ のベクトルを訓練に 4,000 単語, 評価に 1,000 単語使用した.実験に使用した回帰モデルを以下に示す.

・ 線形回帰：二乗の正則化項を持つリッジ回帰を採用した。正則化パラメータは $\left.\{10^{-3}, 10^{-2}, \ldots, 10^{3}\right.\}$ から探索した.
- 多層パーセプトロン：3 層のネットワークを用い, 線形回帰と同様に正則化パラメータの探索を行った。
- ガウス過程回帰：確率に基づいた予測を得られるため，ガウス過程による回帰モデルを用いた。カーネルは RBF カーネルを採用し，ハイパーパラメータはガウス過程回帰で一般的なスケーリング共役勾配法で最適化を行った。

ガウス過程回帰では，カーネルを用いることで，与えられた単語べクトル間の類似度を考慮して変化量を予測することが可能である。 RBF カーネルでは類似度にユークリッド距離が用いられているため，ガウス過程回帰は単語ベクトルからそのノルムも考慮していることになる。そこで，線形回帰と多層パーセプトロンの特徴量には，単語べクトルだけを使用した場合と単語ベクトルとそのノルムを使用した場合の 2 種類を用いた。予測する変化量は平均 0 , 分散 1 に標準化したユークリッド距離とし，評価には予測した変化量と実際の変化量との平均二乗誤差を採用した。

訓練・評価用データの分割方法を変え，5 回実験を行った結果を表 11 に示す．表より，ガウス過程回帰が最も正解からの誤差が低く，適切な予測ができていることがわかる。また，線形回帰において, 単語べクトルのノルムを特徴量に追加することで予測性能の向上が確認できる. このため, 単語ベクトルのノルムが意味変化のしやすさに関係していると考える。

そこで，単語べクトルのノルムと意味変化の関係について調査するため, 評価に用いた単語ベクトルを TSNE で 2 次元に圧縮して正解のユークリッド距離とガウス過程回帰の予測値を描画した。その結果を図 7 に示す。図より, 中央にある単語ほど変化量が小さく, 中央から離れた

表 11 古い時期（戦前）の単語ベクトルから，その変化量（ユークリッド距離）を予測した結果．異なる seed 値で 5 回評価した平均と標準偏差を示す.
位置にある単語ほど変化量が大きいことが確認できる。ガウス過程回帰による予測結果は，図の外側に分布する人名や地理名などの固有名詞に対して，正解の値と同様に大きな変化量を示している．4節で行った分析でも同様の結果が現れており，表 4 では意味変化の度合いが大きい順に並べた単語の多くが固有名詞であった。また，6.1節における分析結果の表 8 でも，BERT と PMI-SVD ${ }_{c}$ の両方が組織名や人名を含む単語を上位に検出していることから，この現象はモデル固有ではないことが言える。ここで，単語べクトルのノルムを調べたところ，外側に位置する変化量の大きい固有名詞はべクトルのノルムが大きく, 中央に位置する変化量の小さい単語はベクトルのノルムが小さいことがわかった. 先行研究においても, 固有名詞は他の品詞と比べてベクトルのノルムが大きく (Schakel and Wilson 2015), 特定の文脈で出現しやすい(大山他 2022 ことが示されている。これらの結果より, ベクトルのノルムが大きい固有名詞のような単語ほど意味が変化しやすいと考える。

一方で, 図 7 に示した「出版・報道」,「貿易」,「工学」,「軍事」のグループに含まれる単語は，実際にはあまり変化していないが回帰モデルは大きな変化量であると予測していた，そこで，各グループから単語を選択し，戦前と戦後での用例の違いを分析した．表 12 より「「特派」 と「電力」は人名や地名，企業名などと一緒に共起していることが確認できる．また，「製造」 や「作戦」は単語自体の意味は変わらないものの，戦前・戦後の時代の特徴を反映しているこ

図 7 正解のユークリッド距離（左）とガウス過程回帰の予測結果（右）をTSNE で 2 次元に圧縮し, 可視化した結果.

表 12 ガウス過程回帰のエラー分析の結果.「出版・報道」,「貿易」,「工学」「軍事」のグループから単語を選択し, 用例の変化を調査した。

とが確認できる．以上から，これらのグループに含まれる単語は, 変化量の大きい人名や地名などの固有名詞に影響されていると考える。

## 6.5 まとめ

本節では，いくつかの定性的な分析を行った。まず，BERT と提案手法の 1 つである PMI-

い単語についても適切に意味変化を捉えられることがわかった. 次に，意味変化の種類を予測する先行研究の指標を用いて, 日本語のデータに対して分析を行った. その結果, 限定的な使われ方をするようになった単語と拡張された意味で使われるようになった単語を分けて検出できることが確認できた，最後に，単語の意味変化のしやすさについて，回帰モデルを用いてべクトル空間の観点から分析を行った。その結果, 単語べクトルのノルムが意味変化量の予測に影響していることがわかった.

## 7 おわりに

本研究では，時期や分野の異なる文書間で意味や用例の異なる単語を検出する夕スクにおいて, 既存の単語べクトル学習手法に対して 2 つ拡張を提案した. この手法は従来の手法の問題点を解消し, 大規模な計算資源を必要とする BERT と比べ CPU のみで軽量かつ高速に学習可能である. SemEval-2020 Task 1 での事前実験の結果，提案した 2 つの拡張手法によって意味変化した単語の検出性能を向上させることを確認した。また，日本語と英語での実験より，提案した拡張手法は従来の手法よりも効果的に学習し，優れた性能を発揮する事を示した．網羅的な分析の結果, 提案した拡張手法は意味変化が既知である単語だけでなく, 自明でない単語についても検出可能である事を示した。意味変化の種類について先行研究の指標を用いて日本語で分析した結果, 限定的な意味で使われるようになった単語と拡張された意味で使われるようになった単語を区別して検出できることがわかった。最後に，回帰モデルを用いて意味変化のしやすさをべクトル空間の観点から分析した結果, 単語べクトルのノルムが意味変化量の予測に影響していることがわかった.

## 謝 辞

本研究は国立国語研究所の共同研究プロジェクト「現代語の意味の変化に対する計算的・統計力学的アプローチ」, 同「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531, 18K11456 の研究成果の一部を報告したものである.

## 参考文献

相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地 (2021). 通時的な単語の意味変化を捉える単語分散表現の同時学習. 言語処理学会第 27 回年次大会発表論文集, pp. 712-717, 北九州国際会議場（オンライン開催）. 言語処理学会. [T. Aida et al. (2021). Tsujiteki na Tango no Imi Henka wo Toraeru Tango Bunsan Hyogen no Doji Gakushu. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 712-717.].

Aida, T., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2021). "A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences." In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 21-31, Shanghai, China. Association for Computational Lingustics.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguistics.

Cook, P. and Stevenson, S. (2010). "Automatically Identifying Changes in the Semantic Orientation of Words." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta. European Language Resources Association (ELRA).

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Dubossarsky, H., Hengchen, S., Tahmasebi, N., and Schlechtweg, D. (2019). "Time-Out: Temporal Referencing for Robust Modeling of Lexical Semantic Change." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 457-470, Florence, Italy. Association for Computational Linguistics.

Giulianelli, M., Del Tredici, M., and Fernández, R. (2020). "Analysing Lexical Semantic Change with Contextualised Word Representations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online. Association for Computational Linguistics.

Gonen, H., Jawahar, G., Seddah, D., and Goldberg, Y. (2020). "Simple, Interpretable and Stable

Method for Detecting Words with Usage Change across Corpora." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 538-555, Online. Association for Computational Linguistics.

Gulordava, K. and Baroni, M. (2011). "A Distributional Similarity Approach to the Detection of Semantic Change in the Google Books Ngram Corpus." In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 67-71, Edinburgh, UK. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016a). "Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2116-2121, Austin, Texas. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016b). "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany. Association for Computational Linguistics.

Hu, R., Li, S., and Liang, S. (2019). "Diachronic Sense Modeling with Deep Contextualized Word Embeddings: An Ecological View." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy. Association for Computational Linguistics.

Kaiser, J., Kurtyigit, S., Kotchourko, S., and Schlechtweg, D. (2021). "Effects of Pre- and PostProcessing on type-based Embeddings in Lexical Semantic Change Detection." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 125-137, Online. Association for Computational Linguistics.

Kaji, N. and Kobayashi, H. (2017). "Incremental Skip-gram Model with Negative Sampling." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 363-371, Copenhagen, Denmark. Association for Computational Linguistics.

Kim, Y., Chiu, Y.-I., Hanaki, K., Hegde, D., and Petrov, S. (2014). "Temporal Analysis of Language through Neural Language Models." In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA. Association for Computational Linguistics.

Kulkarni, V., Al-Rfou, R., Perozzi, B., and Skiena, S. (2015). "Statistically Significant Detection of Linguistic Change." In Proceedings of the 24th International Conference on World Wide Web, pp. 625-635.

Kutuzov, A. and Giulianelli, M. (2020). "UiO-UvA at SemEval-2020 Task 1: Contextualised

Embeddings for Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 126-134, Barcelona (online). International Committee for Computational Linguistics.

Kutuzov, A., Øvrelid, L., Szymanski, T., and Velldal, E. (2018). "Diachronic Word Embeddings and Semantic Shifts: A Survey." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Laicher, S., Kurtyigit, S., Schlechtweg, D., Kuhn, J., and Schulte im Walde, S. (2021). "Explaining and Improving BERT Performance on Lexical Semantic Change Detection." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 192-202, Online. Association for Computational Linguistics.

Levy, O. and Goldberg, Y. (2014). "Neural Word Embedding as Implicit Matrix Factorization." In Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. D., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 27, pp. 2177-2185. Curran Associates, Inc.

Levy, O., Goldberg, Y., and Dagan, I. (2015). "Improving Distributional Similarity with Lessons Learned from Word Embeddings." Transactions of the Association for Computational Linguistics, 3, pp. 211-225.

間淵洋子, 小木曽智信 (2021). 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会第 27 回年次大会発表論文集, pp. 1166-1170, 北九州国際会議場（オンライン開催）. 言語処理学会. [Y. Mabuchi and T. Ogiso (2021). Kingendai Nihongo no Imi Henka Bunseki notameno Tango Detasetto Kochiku no Kokoromi. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1166-1170.].

Martinc, M., Kralj Novak, P., and Pollak, S. (2020a). "Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France. European Language Resources Association.

Martinc, M., Montariol, S., Zosa, E., and Pivovarova, L. (2020b). "Discovery Team at SemEval2020 Task 1: Context-sensitive Embeddings Not Always Better than Static for Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 67-73, Barcelona (online). International Committee for Computational Linguistics.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Bengio, Y. and LeCun, Y. (Eds.), International Conference
on Learning Representations.

Montariol, S., Martinc, M., and Pivovarova, L. (2021). "Scalable and Interpretable Semantic Change Detection." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4642-4652, Online. Association for Computational Linguistics.

Mu, J. and Viswanath, P. (2018). "All-but-the-Top: Simple and Effective Postprocessing for Word Representations." In International Conference on Learning Representations.

大山百々勢, 横井祥, 下平英寿 (2022). 単語ベクトルの長さは意味の強さを表す. 言語処理学会第 28 回年次大会発表論文集, pp. 1050-1055, アクトシティ浜松コングレスセンター（オンライン開催）. 言語処理学会. [M. Oyama et al. (2022). Tango Bekutoru no Nagasa ha Imi no Tsuyosa wo Arawasu. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1050-1055.].

Pražák, O., Přibáň, P., Taylor, S., and Sido, J. (2020). "UWB at SemEval-2020 Task 1: Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 246-254, Barcelona (online). International Committee for Computational Linguistics.

Rosin, G. D., Guy, I., and Radinsky, K. (2022). "Time Masking for Temporal Language Models." In Proceedings of the 15th ACM International Conference on Web Search and Data Mining, WSDM '22, pp. 833-841, New York, NY, USA. Association for Computing Machinery.

Rosin, G. D. and Radinsky, K. (2022). "Temporal Attention for Language Models." In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1498-1508, Seattle, United States. Association for Computational Linguistics.

Sagi, E., Kaufmann, S., and Clark, B. (2009). "Semantic Density Analysis: Comparing Word Meaning across Time and Phonetic Space." In Proceedings of the Workshop on Geometrical Models of Natural Language Semantics, pp. 104-111, Athens, Greece. Association for Computational Linguistics.

Schakel, A. M. and Wilson, B. J. (2015). "Measuring word significance using distributed representations of words." arXiv preprint arXiv:1508.02297.

Schlechtweg, D., Hätty, A., Del Tredici, M., and Schulte im Walde, S. (2019). "A Wind of Change: Detecting and Evaluating Lexical Semantic Change across Times and Domains." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 732-746, Florence, Italy. Association for Computational Linguistics.

Schlechtweg, D., McGillivray, B., Hengchen, S., Dubossarsky, H., and Tahmasebi, N. (2020). "SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online). International

Committee for Computational Linguistics.

Shoemark, P., Liza, F. F., Nguyen, D., Hale, S., and McGillivray, B. (2019). "Room to Glo: A Systematic Comparison of Semantic Change Detection Approaches with Word Embeddings." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 66-76, Hong Kong, China. Association for Computational Linguistics.

Sommerauer, P. and Fokkens, A. (2019). "Conceptual Change and Distributional Semantic Models: an Exploratory Study on Pitfalls and Possibilities." In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, pp. 223-233, Florence, Italy. Association for Computational Linguistics.

Tsakalidis, A. and Liakata, M. (2020). "Sequential Modelling of the Evolution of Word Representations for Semantic Change Detection." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8485-8497, Online. Association for Computational Linguistics.

Yao, Z., Sun, Y., Ding, W., Rao, N., and Xiong, H. (2018). "Dynamic Word Embeddings for Evolving Semantic Discovery." In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, WSDM '18, pp. 673-681, New York, NY, USA. Association for Computing Machinery.

Zimmermann, R. (2019). "Studying Semantic Chain Shifts with Word2Vec: FOOD $>$ MEAT $>$ FLESH." In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, pp. 23-28, Florence, Italy. Association for Computational Linguistics.

## 略歴

相田太一：2020 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2022 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了.同年同大学同研究科同学域博士後期課程進学.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年同研究科博士後期課程修了. 博士 (工学). 同年同研究科助教. 2013 年首都大学東京 (現東京都立大学）システムデザイン学部准教授， 2022 年より教授. 2023 年より一橋大学ソーシャル・データサイエンス研究科教授. 情報処理学会, 人工知能学会,言語処理学会, ACL 各会員.
小木曽智信 : 1995 年東京大学文学部日本語日本文学 (国語学) 専修課程卒業. 1997 年東京大学大学院人文社会系研究科日本文化研究専攻修士課程修了. 2001 年同博士課程中途退学. 2014 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2001 年明海大学講師, 2006 年独立行政法人国立国語研究所研究員を経て，2009 年人間文化研究機構国立国語研究所准教授, 2016 年より教授. 言語処理学会, 日本語学会各会員.

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大学大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学で研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年東京工業大学助手，のち助教，准教授を経て，2017 年から 2021 年まで同教授. 2017 年より産業技術総合研究所人工知能研究センター チーム長. 言語処理学会, ACL 各会員.

持橋大地：1998 年東京大学教養学部基礎科学科第二卒業. 2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (理学). 2003 年 ATR 音声言語コミュニケーション研究所研修研究員/専任研究員. 2007 年より NTTコミュニケーション科学基礎研究所リサーチアソシエイト. 2011 年より統計数理研究所准教授. ACL 各会員.

