# BERT を用いた日本語の意味変化の分析

小林 千真 $\dagger \cdot$ 相田 太一 ${ }^{\dagger}$ 岡 照晃 $\dagger \cdot$ 小町 守 $\dagger$
}

単語が持つ意味や用法は時代とともに変わっていく. BERT から獲得した単語べク トルをグルーピングし， 時期ごとの使用率を算出することで意味変化を分析する方法がある．英語の意味変化分析では既にいくつかこの類の手法が導入されているが，

日本語への適用はまだない。また，英語での分析では手法ごとの比較が行われてい ない。そのため, 日本語に適用した際の性能や各手法がどのような条件で有効か明 らかになっていない，そこで本研究では日本語を対象に，以下の実験を行なった。現代語で事前訓練された BERT の文脈依存べクトルに, 辞書を使った教師ありのグ ルーピング手法とクラスタリングを使った教師なしのグルーピング手法を適用し比較した。また BERT を通時的なコーパスで fine-tuning L， BERT の文脈依存べク トルが捉える通時的な特徴を分析した。比較と分析の結果, 充実した辞書がない場合，クラスタリングを使った手法が意味変化を捉えるのに適していることが分かっ た. さらに, 現代語 BERT を通時的なコーパスで fine-tuning することで古い時期特有の表現により適した意味変化の分析が可能になることが分かった。一方で，古 い時期に出現しない現代特有の用法がある場合には，意味変化を捉えられないケー スも存在した。

キーワード : 意味変化, 日本語, BERT, 単語ベクトル
## Analysis of Semantic Changes in Japanese Words Using BERT

\author{
Kazuma Kobayashi ${ }^{\dagger}$, Taichi Aida ${ }^{\dagger}$, Teruaki OKa ${ }^{\dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

The meaning and usage of words change over time. One method of analyzing these changes is to group word tokens by their meanings in each period and compare their usage rates. Several methods of this kind have been used to analyze semantic changes in English, but they have not yet been applied to Japanese. In addition, the methods have not been compared. Therefore, the performance of this method on Japanese and the conditions under which each method is effective have not been clarified. Thus, we conducted the following experiments on Japanese words. We applied a supervised grouping method using a dictionary and an unsupervised grouping method using clustering to context-dependent vectors in the BERT model and compared them. We also pre-trained BERT on a diachronic corpus and analyzed the diachronic features captured by the context-dependent vectors in BERT. The results of the comparison

and analysis showed that in the absence of a well-developed dictionary, the clusteringbased method was better able to capture semantic change. Furthermore, it was found that fine-tuning with a diachronic corpus can be used to capture semantic changes in older periods. However, it was also found that some words with usages that did not appear in the older period could not always be captured.

Key Words: Semantic Change, Japanese, BERT, Word Embeddings

## 1 はじめに

「渋滞」という単語はもともと(1)(2)のように「物事が停滞する」の意味で使用されていた. しかし自動車交通網の発展に伴い, 1960 年代頃から (3)(4)のように「交通渋滞」を意味する単語となった。

（1) 英國ハ年來斯好慣アリテ内閣ノ更迭セルタメ國務ノ澀滯ヲ來シタルフ甚ダ少シト雖モ

(1862 年, 朝比奈知泉『政黨内閣は果して國家永久の長計なるか』, 国民之友 $\langle 29\rangle)^{1}$

(2) 課長の一人や局長の半分ぐらみ缺けてみたとて事務に澁滯を來たすやうな憂ひもあるまいが、

(1925 年, 古島一雄『役人となつての感想』, 太陽 $\langle 1925-9\rangle)^{2}$

(3) 出勤したニューヨーク市民は、ふたんより多いくらいで、道路は大渋滞、という有様になったのです。

(1975 年, 磯村尚徳『ちょっとキザですが』) $)^{3}$

(4) 高速道路入口付近で渋滞にまき込まれた。

(1984 年, 安部公房『方舟さくら丸』) 4

単語の意味や用法は時代や社会環境とともに現在も変化し続けている。意味変化と呼ばれるこの現象には，さまざまなパターンがある．前述の「渋滞」は意味する対象が狭くなる変化（物事が停滞する $\rightarrow$ 交通渋滞）だったが，より広い対象を意味するように変わるパターンもある.例えば明治・大正期の用例を見ると「柔軟」は「羊の毛の柔軟」や「柔軟なるゴム」のように物理的な柔軟性を表していた. しかし現代に向かうにつれ「柔軟な姿勢」のように概念的なやわらかさを表す用例が増加する。 さらに，良い意味・中立的な意味だった言葉が悪い意味で使われる変化もある。「貴様」は中・近世では敬意で用いられていたが, 近世末になると目下の者への罵りの言葉に変化した。

Bloomfield (1933)によると意味変化の要因には文化的な要因と言語的な要因の 2 つがある.

文化的な要因は，新技術の登場や病気の大流行など社会的・文化的な事柄に起因し，急激な変化となることが多い，近年の例では，自然現象，ビールの銘柄や会社の名前だった「コロナ」が数年で「新型肺炎」としての用例を急増させた。一方，言語的な要因は特定の事柄に起因しない規則的な変化で，比較的ゆっくりと起こる。例えば(5)6に示す「やばい」のように，否定の意味を持っていた単語が反対の肯定的な意味で使われ出すパターンが言語的な要因である。こうした意味変化は特定の言語に限らず，さまざまな言語で起こっている (Hamilton et al. 2016a; Hou et al. 2020; Rodina and Kutuzov 2020).

(5) 物色時間は, 長いとやばいので 3 分くらいだ。

(1977 年, 警察庁『警察白書』) ${ }^{5}$

６）やばいぐらい可愛くて、かっこよくて・・あなたのしぐさ、言葉、表情一つ一つにトキメイてしまう。

(2008 年, Yahoo!ブログ $)^{6}$

上記の(1)～６は語義が変化した典型的な意味変化である．本研究では，語義の変化と意味変化という単語を使い分ける。語義の変化は文字通り，ある語義から別の語義への変化であるが意味変化は語義の変化に限らない，例えば「尋常」という単語の変化を見ると，語義は「普通」 のままだが否定的な文脈で出現する用法の変化が起きている。このようにある単語特有（または少数の単語で特有）の用法の変化も含めた広い概念として意味変化を扱う。一方で，ある単語特有でない用法の変化は意味変化としない. 例えば,「複合名詞としての出現が増加（減少）」 や「近代から現代にかけて動詞の基本形を名詞的に扱う用法7が消失」のような変化は意味変化としない. 本研究における意味変化前後の語義や用法の判断基準は 4.6 節で述べる．以降，意味変化前の語義や用法を原義, 意味変化後の語義や用法を転義とよぶ.

意味変化は主に言語学や辞書学で研究されてきた。また, 言語を社会的な観点から捉える点で社会学でも扱われる (Geeraerts 2015). 工学分野では自然言語処理が情報工学的知見を活かし,意味変化している単語の自動検出（意味変化検出）手法の開発や, 意味変化を分析する統計的手法を提案している。これらの手法を使えば,これまで認知されてこなかった過去に意味変化していた語の発見, 現在起こりつつある変化の捕捉, 未来に起り得る変化の予測が可能になる.

意味変化検出の研究では, 出現文脈に依存しない単語べクトルを用いた手法と出現文脈に依存した単語べクトルを用いた手法が提案されている8,9. 出現文脈に依存しない単語べクトル獲

得手法の代表例は word2vec である. word2vec は 1 つの単語を出現文脈によらず 1 つのべクトル値で表現する。出現文脈に依存しない単語べクトルを用いた手法を本稿では文脈非依存の手法とよぶ. 一方, 出現文脈に依存した単語べクトルの獲得手法では BERT や ELMo が代表的である，BERT や ELMo は同じ単語でも出現文脈が変われば，文脈に応じた異なるべクトル值で表現する. 出現文脈に依存する単語べクトルを用いた手法を本稿では文脈依存の手法とよぶ.意味変化の検出が目的であれば，文脈非依存の手法でも問題ない. しかし文脈非依存の手法は対象単語のあらゆる出現（語義・用法）をまとめて 1 つのべクトルで表現する。そのため,個々の出現を十分に議論できず，意味変化を語義や用法ごとに観察する意味変化の分析（１検出）には適さない。一方, 文脈依存の手法では対象単語のすべての出現に 1 つずつ異なる值のべクトルを作成する。これを何かしらの手法でグルーピングすれば，出現文脈に応じた語義や用法のクラスタが形成されることが期待できる。 それらのクラスタの出現比率を時期ごとに算出することで語義レベルで意味変化を観測できる．本稿の目的は意味変化の分析であるため，文脈依存の手法を採用する.

意味変化の分析手法として Hu et al. (2019) と Giulianelli et al. (2020) は英語ドメインで文脈依存の手法を提案している。いずれの研究でも対象単語の文脈依存ベクトルを集めてグルーピングし，各グループの時期別出現比率を比較することで意味変化の分析を行なっている．両者の違いはグルーピング手法である. Hu et al. (2019) は辞書に書かれた語義と例文を教師デー夕とし, 近傍法で語義クラスタの形成を試みた. Giulianelli et al. (2020) は教師データを使わず,教師なしクラスタリングのみで用法クラスタの形成を試みた。いずれも英語が対象のため，他言語での有効性は検証されていない.

自然言語処理における意味変化の研究には，通時的なコーパスと対応する期間中に意味変化した語のリストおよび実際に意味変化したことを示す論拠が必要であるが，計算機上で利用できる資源の整備が進んでいないのが現状である。意味変化検出の研究は Schlechtweg et al. (2020) が公開したデータセットに含まれる英語, ラテン語, ドイツ語, スウェーデン語が主流であるが, 日本語では共通に研究利用できる言語資源が限られ，利用範囲にも制限があるため, 研究も前述の語族に比べて少ない. 日本語で意味変化検出を行なった研究として Aida et al. (2021) があり，数単語の分析を行なっているが，単語の各語義や用法を中心とした包括的な分析は行われていない.

以上を踏まえ, 本研究では日本語を対象とし, 以下の実験と分析を行なった. 意味変化の分析の観点で, Hu et al. (2019) の辞書を用いた手法と Giulianelli et al. (2020)のクラスタリングを用いた手法の日本語ドメインでの有効性を複数条件下で比較・検証した。また, BERT や ELMo の文脈依存の手法の意味変化検出では, fine-tuning で検出精度が向上する報告があるため (Kutuzov and Giulianelli 2020), 現代語で事前学習された BERT を fine-tuning し，その影響を検証した。以上の結果，日本語では辞書を使った手法よりも教師なしクラスタリング，特に
$k$-means 法を使った手法が意味変化の分析に適していることが分かった. また, 現代語 BERT を fine-tuning することで，現代では使わないような古い用法でも意味変化を捉えるようになること，その一方で古い時期では使われていなかった現代の用法がノイズになるケースがあることが分かった。

本研究の貢献は以下の 3 つである.
- 2 つの意味変化分析手法（辞書ベースの教師ありグルーピング手法 (Hu et al. 2019) と教師なしのクラスタリング手法 (Giulianelli et al. 2020)）の比較と適用方法の検討
- 日本語を対象とした BERT によるべクトル化を用いた意味変化の詳細な分析
- fine-tuning が文脈依存の手法に及ぼす影響の調査

## 2 関連研究

## 2.1 文脈依存の単語ベクトル化

現在までに様々な単語のべクトル化手法が提案されているが, 単語タイプごとに 1 つのべクトル値を与える方法と単語トークンごとに出現文脈に応じたべクトル値を与える方法の 2 つに大別できる。単語タイプごとにベクトル化する方法として word2vec (Mikolov et al. 2013) や fastText ${ }^{10}$ があるが，これらの手法は単語の出現文脈に応じたべクトル化をしない文脈非依存な手法である。本研究では語義や用法の変化を扱うために出現文脈ごとに異なる値のべクトルを得る必要があり, 単語タイプごとのべクトル化手法（文脈非依存の手法）は適さない．以降,本節では単語トークンごとに出現文脈に応じたべクトルを与える手法（文脈依存の手法）について先行研究を紹介する.

Schütze (1998)では, 単語の共起情報を利用して文脈依存べクトルを獲得する手法を提案した.彼らはそのベクトルをクラスタリングすることで語義クラスタを形成し, 語義曖昧性解消や情報検索での利用を試みた． Erk and Padó (2010)の事例ベースモデル (Exemplar-Based Models) や Melamud et al. (2016) の LSTM と多層パーセプトロンを使用した手法も提案されている.近年では，深層学習を用いた事前学習済み言語モデルから文脈依存な単語ベクトルを獲得する手法が注目されている。代表的な事前学習済み言語モデルとして, ELMo (Peters et al. 2018), BERT (Devlin et al. 2019), GPT (Radford and Narasimhan 2018)などがある. GPT では前の文脈のみを考慮した学習が行われるのに対し, ELMo や BERT では前後の文脈を考慮した学習が行われる。本研究の実験は, 文全体を利用できる設定で行うため, 文脈依存な単語べクトルを獲得する手法として, ELMo や BERT がより適している. ELMo は双方向の LSTM を用いたモデルであり，BERT は Transformer (Vaswani et al. 2017)のエンコーダ部分を用いたモデ


ルである．最近の研究では ELMo や BERT から獲得した文脈依存な単語べクトルが語義曖昧性解消タスクで有効であり, 特に BERT が良い性能を発揮することが示されている (Pilehvar and Camacho-Collados 2019). 本研究で用いる意味変化の分析手法では, 単語を語義や用法ごとにグルーピングする必要があるため，語義曖昧性解消タスクで有効な BERT を用いた文脈依存の手法が効果的であると考える。

## 2.2 単語の意味変化検出

本研究では単語の意味変化の分析が主目的であるが, 盛んに研究されているのは意味変化検出である。初期には単語の頻度情報を用いたナイーブな検出手法 (Cook and Stevenson 2010) が提案され，その後，深層学習モデルを使った手法が数多く提案された．深層学習モデルを用いた意味変化検出手法は大きく文脈非依存の手法と文脈依存の手法に分けられる．文脈非依存の手法では， word2vec (Mikolov et al. 2013)を用いた手法がある.この手法では word2vec の「学習データ全体の特徴に応じて入力単語をべクトルに変換する」という性質を利用する。通時的なコーパスを時期ごとに分け, 時期ごとの学習データを作り, 各時期でモデルを構築することで，各モデルは各時期の特徴を捉えた単語べクトルを獲得する。そして，各時期のモデルから対象単語の単語べクトルを獲得し，比較することで意味変化検出を実現する．時期ごとにモデルを作るため，モデル間でベクトル空間に対応がなく， ベクトルを直接比較できない。この問題を解決するいくつかの方法が提案されている。 ある時期 $p$ のモデルを訓練する際, 初期値として時期 $p$-1のモデルを使う手法 (Kim et al. 2014), 線形変換によって各時期の間でべクトル空間の対応付けを行う手法 (Hamilton et al. 2016b), 全時期同時に学習することで対応付けを必要としない手法 (Yao et al. 2018) である．手法により捉えられる意味変化の傾向や得意不得意の差はあるものの，共通して多義語を語義別に観察できない問題がある.

文脈依存の意味変化検出手法では ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019)を用いる. ELMo や BERT の「入力文字列の文脈に応じた単語べクトルを獲得する」という性質を利用する。この性質により，対象単語のベクトルそのものから語義や用法を区別することが期待できるため，時期を無視して1つの事前学習済みモデルに対象単語が出現する文脈を入力する方法を取ることができる．1つの事前学習済みモデルだけを用いるので，文脈非依存の手法で行なったようなモデルごとのべクトル空間の対応を取る必要はない. この文脈依存の単語べクトルを用いた手法として, ベクトルをクラスタリングする手法 (Matej et al. 2020; Kutuzov and Giulianelli 2020; Giulianelli et al. 2020; Montariol et al. 2021; Karnysheva and Schwarz 2020), クラスタリングは行わず, ベクトル同士のコサイン距離をぺアワイズで計算する手法 (Kutuzov and Giulianelli 2020), ベクトルを平均化して単語タイプのベクトルとしてコサイン類似度を計算する手法 (Martinc et al. 2020) がある. 意味変化検出タスクではペアワイズでの比較や単語ベクトルを平均化する手法が高い性能を報告しているが，クラスタリングのようなグルーピン

グを用いる手法以外では数值結果が出力されるのみであり，解釈が困難である．そのため本稿の対象とする意味変化の分析には単語べクトルのグルーピングを使った手法が適している.

## 3 意味変化の分析手法の手順

本稿で用いた意味変化分析の手順を述べる。手順は大きく 4 つの段階に分けられる。まず BERT を用いて対象単語のすべての出現をべクトル化する（3.1 節），得られたべクトル集合を辞書を用いた手法とクラスタリングを用いた手法のそれぞれでグルーピングする（3.2 節）。通時的なコーパスに付与された年代情報から, どの年代にどのクラスタがどの程度現れるのか,割合の変化を算出することで変化を観察する（3.3 節）．JSD を用いた意味変化度合いのスコアリングによって定量的な評価を行う（3.4 節).

## 3.1 BERT による単語ベクトルの獲得

文脈依存の単語ベクトル（以下，単に単語ベクトルと呼ぶ）の獲得方法として, 本研究では BERT を用いる。入力は文字列をトークナイズしたトークン列である。トークナイザでは，まず文字列を単語区切りに分割する。その後, 単語をサブワード単位に分割し, 最終的なトークン列へと変換する。複数文を入力する場合, 文間に $[\mathrm{SEP}]$ という特殊トークンを置く. BERT の訓練は Masked Language Modeling (MLM) と Next Sentence Prediction (NSP)によって行われる．MLM では入力するトークン列の一部を [MASK] という特殊なトークンで置き換えて BERT に入力し， [MASK] に置き換えられた元のトークンを当てるタスクを行う．NSPでは 2 文を入力し，それらが連続した文か否かを当てる夕スクを行う，BERT は注意機構とこれらの訓練（特に MLM）により，前後文脈を考慮したトークンのベクトル化を実現している.

文脈依存の単語ベクトルは，対象単語を含む文字列を BERT に入力し，対象単語に対応するトークンの隠れ層の最終層から獲得する。対象単語が複数のトークンからなるときには, 対象単語を構成するトークンのベクトルの平均を使用する.

本研究において，コーパスは文章とその文章が出現した時期がセットで記述された状態を想定する（詳細は 4.1 節)，ある単語 $w$ を含む文 $i$ を BERT に入力して得られるべクトルを $v_{i}^{w}$ とする（簡単のため同一文内に同一単語が 1 度しか現れない前提で定式化している）， $v_{i}^{w}$ と文 $i$ に付与された出現時期の情報 $p$ で，タプル $t_{i}=\left(v_{i}^{w}, p\right)$ を作る。コーパス全体から網羅的に $t_{i}$ を作成し, $t_{i}$ を要素とする集合を $S^{w}=\left.\{t_{1}, t_{2}, \ldots, t_{m}\right.\}$ とする.

## 3.2 単語ベクトルのグルーピング

グルーピング手法として, Hu et al. (2019)の辞書を用いた教師あり手法と, Giulianelli et al. (2020)の $k$-means 法を用いた教師なしクラスタリング手法を使用する. ここで述べるグルーピ

ングは, 前述した対象単語 $w$ の集合 $S^{w}$ を部分集合 $\left.\{S_{1}^{w}, S_{2}^{w}, \ldots, S_{k}^{w}\right.\}$ に分割する操作として定式化できる（ $k$ はグループ数).

## 3.2.1辞書を用いた教師ありのグルーピング

Hu et al. (2019)の辞書を用いた手法を説明する. 図1のように, 辞書には各単語の語義に対応する例文が付与されていることが期待される ${ }^{11}$. 辞書において $n$ 個の語義を持つ単語 $w$ に対して, 語義に対応する語義べクトル集合 $\left.\{g_{\text {語義 } 1}^{w}, g_{\text {語義 } 2}^{w}, \ldots, g_{\text {語義 } n}^{w}\right.\}$ を作る. 語義べクトルは, 語義に付与された例文を BERT に入力し 3.1 節のベクトル化と同様の手法で対象単語のベクトルを作成する。ただし，1つの語義に複数の例文が付与されている場合は各例文から作成した対象単語のベクトルの平均を語義べクトルとする. そして， $S^{w}$ の各要素 $t_{i}=\left(v_{i}^{w}, p\right)$ の $v_{i}^{w}$ と集合 $\left.\{g_{\text {語義 }}^{w}, \ldots, g_{\text {語義 } n}^{w}\right.\}$ の全要素とのユークリッド距離を計算し, 最も近い語義ベクトルの語義に $t_{i}$ を割り当てていくことで, グルーピングを行う。この操作を対象単語 $w$ の 1 つずつ（1 単語夕

## JapanKnowledge Lib

## 日本国語大稺典

## じゅう-たい [ジフ・]【渋滞】

## 解説 $\cdot$ 用例

〔名〕

(1) ものごとがすらすらとはかどらないこと。とどこおって進行しないこと。

(2) 道路が混雑して、車両などがなかなか先へ進めないこと。

*弟〔１９９３）〈古井由吉〉「渋滞に苦しみながら、東西に走る幾筋もの道路を陸橋でまたぎ」

図 1 ジャパンナレッジ『日本国語大辞典』に掲載されている「渋滞」の単語説明の一部 .


## イプごと）に行う.

図 1 の「渋滞」を具体例にとると, 「(1)ものごとがすらすらとはかどらないこと。」(語義 1) に 5 つ例文が付与されており，これらを用いて ${ }^{12} 「(1)$ もこごとがすらすらとはかどらないこと。」（語義 1）の語義べクトル $g_{\text {䟚滞 } 1}^{\text {義 }}$ が作られ，「 $(2)$ 道路が混雑して、車両などがなかなか先へ進めないこと。」（語義 2 ）も付与された 1 つの例文から語義べクトル $g_{\text {語滞 } 2}^{\text {㼁 }}$ が作られる. 以降,この手法を辞書ベースの手法と呼ぶ.

## 3.2 .2 単語ベクトルのクラスタリング

Giulianelli et al. (2020)のクラスタリングによるグルーピング手法について述べる． $k$-means 法ではあらかじめクラスタ数 $k$ を指定する必要があるが, 適切なクラス夕数は自明ではない. そこで，クラス夕数 $k$ を $2 \sim 10$ として計 9 回， $S^{w}$ の各要素 $t_{i}=\left(v_{i}^{w}, p\right)$ の $v_{i}^{w}$ に対して $k$-means 法を適用する。その後, 各クラスタリング結果のシルエットスコア (Peter 1987) を算出し, シルエットスコアが最大となるクラスタリング結果 1 つを最終的なクラスタリング結果とする. シルエットスコアは，クラスタリングの結果を評価する指標であり，次のように算出する。ある 1 つのべクトル $v_{i}^{w}$ に対して,$v_{i}^{w}$ が属するクラスタの $v_{i}^{w}$ 以外のべクトルとの距離平均をクラス夕内凝集度 $a_{i}$ とする. $v_{i}^{w}$ が属するクラス夕以外で $v_{i}^{w}$ に最も近いクラスタ内の全べクトルと $v_{i}^{w}$ との距離の平均を乘離度 $b_{i}$ とする. ここで $v_{i}^{w}$ に最も近いクラスタとは, 各クラスタの全べクトルと $v_{i}^{w}$ の距離平均が最も小さいクラスタである. $v_{i}^{w}$ のスコア $s_{i}$ を以下の式で算出する.

$
s_{i}=\frac{b_{i}-a_{i}}{\max \left.\{b_{i}, a_{i}\right.\}}
$

以上の方法で算出されるスコア $s_{i}$ を全 $v_{i}^{w}$ で求め, 平均した値がシルエットスコアである. $k$-means 法とシルエットスコアの距離関数はどちらもユークリッド距離を用いた。辞書ベースの手法と同様に，この操作を対象単語 $w$ の 1 つずつ（1 単語タイプごと）に行う．以降, この手法をクラスタリングベースの手法と呼ぶ.

## 3.3 意味変化の観測

$S^{w}$ の各要素に付与されている時期の情報 $p$ とグルーピング結果を用いて, 時期ごとのクラス夕の割合を算出できる。図 2 は，グルーピング結果から時期ごとのクラス夕割合への変換の簡略図である。図 2 (左) では 3.2 節で述べたグルーピングの結果に加え, 時期の情報を点の形状で明示的に図示している。これらの情報から各時期でのクラスタの割合が算出できる。図 2 （右）は各時期でのクラスタの割合を示した積み上げ棒グラフである，図 2 では，クラスタ A の比率が減少し, クラスタ $\mathrm{C}$ の比率が増加していることがわかる. クラスタ $\mathrm{A}$ が原義に対応し,


図 2 単語ベクトルのグルーピング結果と時期の情報から, 各クラスタの時期ごとの割合を示す棒グラフへの変換を示した図．BERT から獲得した単語ベクトルをグルーピングし（左），各時期でのクラスタの割合を算出する（右）。

クラスタ $\mathrm{C}$ が転義に対応しているならば，意味変化を捉えたとみなす。このようにグルーピングの結果と時期ごとのクラスタの割合の変化によって意味変化を分析していく.

## 3.4 JSD を用いた意味変化度合いのスコアリング

分析に定量的観点を取り入れるため Jensen-Shannon divergence (JSD) (Lin 1991) を用いて意味変化度合いのスコアを求める. JSD は 2 つ確率分布の類似度を測る指標であり, 確率分布 $Q, R$ に対して, 以下のように定義される.

$
J S D(Q \| R)=\frac{1}{2} K L D(Q \| M)+\frac{1}{2} K L D(R \| M)
$

ただし， $M=\frac{1}{2}(Q+R)$ である. JSD は 2 の確率分布が似ているほど小さく，似ていないほど大きな値となる。また 2 つの確率分布が全く同じとき 0 をとる。意味変化度合いのスコア $C S$ を以下のように定義する.

$
C S=\max _{P} J S D\left(u_{p} \| u_{p-1}\right)
$

ただし， $P$ は対象とした時期の列（図 2 では（時期 1 , 時期 2 , 時期 3 )に対応）であり， $u_{p}$ は時期 $p$ における各クラスタの比率（図 2 では図 2 (右) の各時期の積み上げ棒グラフに対応）である ${ }^{13}$. JSD は文脈依存の意味変化検出で多く用いられるスコアである (Matej et al. 2020; Kutuzov and Giulianelli 2020; Montariol et al. 2021). JSD はクラスタの比率の変化を捉えることができ


るが，捉えたい語義や用法ごとにクラスタが形成されているかを捉えることはできない．そのため「意味変化を捉えているならば JSD が高い」とはいえても，「JSD が高いならば意味変化

隣り合う時期間で大きく変化しているが，その 2 つのクラスタは原義と転義に対応していないとする。このような場合でも JSD は大きな値を取るが各クラスタが原義と転義に対応していないので意味変化は捉えられていない.

## 4 実験設定

## 4.1 対象コーパス

日本語の意味変化分析を行うため, 幅広い年代にわたる日本語コーパスとして, 国立国語研究所の『日本語歴史コーパス』14の一部である近代雑誌コーパスと『昭和・平成書き言葉コーパス』15として構築中の雑誌（『中央公論』『文藝春秋』）データを追加したものを用いた、コーパス全体は 1874 年から 1997 年までに刊行された雑誌からなるが，本研究では文量のバランスを考慮し, 1898 年から 1997 年の 100 年間を 25 年区切りで分割し, 全体を 4 つの時期に分けた.

複数時代にまたがるため，コーパス内で同じ単語でも表記が異なる単語（例：新字体 vs 旧字体）がある。これらの単語をまとめて処理するために，コーパス全文を語形代表表記出現形に変換した，国語研が整備するコーパスは出現形（表層形）, 語形, 語彙素（辞書見出し）の階層構造を持つが，語形代表表記出現形は活用語の変形を保ったまま表記を統一できるレイヤー で，日本語歴史コーパスでは語形の下で管理されている。例えば，「栄える」の仮定形「栄えれ (ば)」が旧字で「榮えれ」と表記されていた場合, 語彙素にまとめると「栄える」になるが活用の情報が失われる．語形（出現形）に変換した場合「サカエル」と「サカエレ」といった活用の違いは区別されるが，語形はカタカナ表記のため同音異義語が区別されないまま BERT の入力となる. 語形代表表記はカタカナ表記で管理されている語形の下で当該語形の代表的な出現形表記情報を基本形で 1 つ保持しており，それを活用展開したのが語形代表表記出現形である. 書字形出現形を語形代表表記出現形に置換することで，書字上の差異を統一しつつ活用変化を残した正規化が行える。「栄えれ」の例であれば「栄えれ」も「榮えれ」も語形代表表記出現形に置き換えれば「栄えれ」に正規化される。

以上の処理を施したコーパスを以降対象コーパスと呼ぶ．対象コーパスは $7: 1$ に分割し，それぞれ学習データとテストデータとした。


## 4.2 使用した BERT

本研究では, 現代語で訓練を行なった現代語 BERT と, 対象コーパスで現代語 BERT を fine-tuning した近代語 BERT の 2 種類の BERT を使用した.

現代語 BERT Hugging Face で公開されている東北大の日本語版 BERT ${ }^{16}$ (以下, 現代語 BERT）を使用した. ${ }^{17 この ~ B E R T ~ モテ ゙ ルは ~} 12$ 層からなり, hidden states は 768 次元, attention heads は 12 個という構成である。学習は元の BERT (Devlin et al. 2019) と同様, 1インスタンスあたり 512 トークン, 1 バッチあたり 256 インスタンスで 100 万ステップ学習されている. マスク言語モデルは whole word masking を使用して, トークン単位ではなく単語単位で学習が行われている。単語区切りは MeCabを用いており，辞書は

によってサブワード化することでトークナイズしている。学習は TensorFlow Research Cloud が提供する Cloud TPU の v3-8 instance を使用して行われている. 対象コーパスのテストデータを使用した MLM タスクのマスク箇所の予測の正解率は 0.578 である.

近代語 BERT 対象コーパスの学習データを用いて, 我々が現代語 BERT を fine-tuning Lたモデルである. fine-tuning のタスクは事前学習と同様である.

主な実験結果を報告する近代語 BERT の fine-tuning は，1インスタンスあたり 512 トー クン，1バッチあたり 32 インスタンス，学習率は 1e-4で 310 万ステップ行なった。訓練で使用した GPU は NVIDIA Tesla P40 である. 対象コーパスのテストデータを使用した MLM タスクのマスク箇所の予測の正解率は 0.652 であり, 現代語 BERT よりも 0.08 高い.

近代語 BERT は fine-tuning の学習環境の違いで結果に差が出る可能性がある.この点を考慮して, fine-tuning に関する分析（7.2節）では, パラメータや学習環境を変えて学習したモデルを 6 種類も作成し， 5 種類以上のモデルで同じ傾向が確認できた分析結果のみ報告する．各 fine-tuning の学習条件は学習率と使用 GPU を変えた 6 パターンで行なった. 学習率は 2e-5, 3e-5, 5e-5 の 3 パターン, GPU は NVIDIA Tesla P40 と NVIDIA TITAN RTX の 2 種類である。また学習は 15 万ステップ行なった。主な実験結果を報告する近代語 BERT と比べ学習ステップ数が少ないが，学習デー夕を $2 \sim 3$ epoch 学習するため, 十分と判断した (Kutuzov and Giulianelli 2020). これら以外の条件は主な実験結果を報告する近代語 BERT と同様である.


## 4.3 辞書

辞書べースの手法では, 日本で最大規模の辞書の一つである『日本国語大辞典』(ジャパンナレッジ版) 19 を使用した。語義に付与されている例文に漢文が含まれていた場合は，漢文を削除し，その他の文を使用した。

## 4.4 ツール

本研究での $k$-means 法の実装には scikit-learn (version 0.24.2)20 を用いた. $k$-means 法は初期値に依存して結果が異なる手法であるが， scikit-learnのデフォルトの実装として初期値依存性を軽減するため以下の配慮がなされている。各 $k$ で, $k$-means 法を 10 回適用する. 10 個の結果のうち, 各べクトルから最近傍のセントロイドへの距離の合計が最も小さいクラスタリング結果を最終的な結果として採用する。セントロイドの初期値は $k$-means++ (Vassilvitskii and Arthur 2006) を用いて決定する。 $k$-means++ はセントロイドを選ぶ際に，セントロイドの初期位置が離れるように選ばれる確率が高くなる手法である.

## 4.5 対象単語

近代コーパスス ${ }^{21}$ で意味変化した単語のリスト (間淵, 小木曽 2021) から対象単語を選定した. ただし，対象コーパス内のそれぞれの時期で 10 回以上出現していることを条件とし，最終的に 34 単語を選定した. 漢語が 30 単語, 外来語が 3 単語, 和語が 1 単語である. これらは全て, 活用がない単語で, 具体的には以下である. 普段, 障害, 柔軟, 結構, 要領, 免許, 優勝, 非常,全然, 渋滞, ポイント，管制，故障，精々，教養，教授，適当，心持ち，普通，尋常，広告, 了解, 住居, 設備, 風俗, 愛人, 自然, 女性, モデル, 貴族, ボタン, 情報, 主婦, 婦人.

## 4.6 評価

2 つの意味変化分析手法と JSD によるスコアリングをそれぞれ以下の方法で評価した.

意味変化分析の定性評価以下の 2 点を確認することで定性判断を行なった．たたし，主な定性判断は第一著者 1 人で行い，解釈が難しいと判断した一部の単語では共著者の複数人で判断を行なった。

(1) 原義と転義に対応するクラスタがそれぞれ存在するか

（2）（1）の結果に基づき, 図 2 （右）の積み上げ棒グラフにおいて, 原義と転義の増減は妥当か

判定の具体的な手順と基準は以下の通りである。まず単語べクトル集合に PCA を適用


して 2 次元空間にプロットする． 2 次元空間上で各クラスタの全体像を把握するように要素を選出する，選出した要素に対応する文を読み，文内での対象単語の用例を「原義」，「転義」，「原義または転義とは別の用例」，「意味解釈が困難」の 4 種類に分類し，確認した用例の中で最も多かったものをクラスタのラベルとする。ただし，選出する要素数は各クラスタで最低 10 とする。意味の理解が困難な用例が多い場合や複数のラベルが拮抗している場合には著者が十分であると判断するまで要素を選出する。(2)では (1)の結果, 原義と転義のラベルが存在した時に, 隣り合う時期間で原義のクラスタの出現比率が $10 \%$ 以上減少し，かつ，転義のクラスタの出現比率が $10 \%$ 以上増加した際に，妥当な増減と判断する。原義と転義は間淵，小木曽 (2021)の付録「近現代日本語意味変化分析のための単語データセット頻度表」に掲載されている「原義」と「転義」を基準とする。

## JSD を用いた意味変化度合いのスコアリングの評価 日本語では意味変化の度合いをスコアリ ング・順位付けしたデータセットが存在しないため, 英語やドイツ語などの意味変化検出タスクで使用されている相関係数による評価ができない。そこで本研究では, 意味変化した単語に加え, 意味変化していない単語にも 3.4 節の手法を適用し, recall@ $k$ を求め ることで評価した， recall@ $k$ は，モデルの予測結果の上位 $k(>1)$ 個にいくつ正解が含ま れるかを算出する (recall) 手法である。 さまざまな $k$ で recall を算出することで，特定 の $k$ で recall を算出するよりもモデルの予測の全体像が把握できる。本研究では，意味変化した 34 単語と意味変化していない 34 単語 22 の計 68 単語に辞書べースとクラスタリ ングベースの手法を適用し，意味変化度合いのスコア $\mathrm{CS}$ を算出，そして recall@ $k$ を求 めた。ここで間淵らのリストに含まれる意味変化した単語を正解，コーパスからランダ ムに選択した単語を不正解とした。

## 5 辞書ベースの手法とクラスタリングベースの手法の比較

本節では意味変化の定性判断による結果と JSD を用いた意味変化度合いのスコアを評価した結果を辞書ベースの手法とクラスタリングベースの手法で比較する．BERT モデルには現代語 BERT を用いた，意味変化していない単語の 1 つである「羞恥」は, 本研究で用いた BERT のトークナイザでは未知語として処理されたため，どちらの手法も適用できなかった。辞書の例文のうち漢文を含む例文を削除した上で 2 つ以上の語義で例文が存在する場合のみ，辞書べー スの手法を適用できる。この条件を満たさない単語が対象単語で 6 単語, 意味変化していない単語で 14 単語存在した。


## 5.1 実験

定性判断による意味変化の判定意味変化していない単語への意味変化の判定は意味をなさないため，意味変化の判定は対象単語 34 単語のみで行なった. 定性判断による意味変化の判定結果を表 1 に示す。辞書べースの手法が適用できない単語を除いた場合，意味変化を捉えられた単語は辞書べースの手法では 18 単語, クラスタリングベースの手法では 17 単語であった。

一方で辞書べースの手法を適用できなかった単語も含めると，意味変化を捉えることができた単語は辞書べースの手法では 18 単語, クラスタリングベースの手法では 20 単語であった。

意味変化を捉えることができた単語は, 辞書べースの手法が適用可能な場合, 辞書べー スの方が多く，適用できない場合ではクラスタリングベースの方が多くなった.

JSD を用いた意味変化度合いのスコアリング意味変化した単語と, していない単語のうち,辞書べースの手法が適用できない 20 単語を除いた 48 単語で CS を算出した. この設定では辞書ベースの手法で扱えない単語は取り除いているので, 辞書べースの手法を優遇した設定である。その結果を図 3(a) に示す。図 3(a) から，辞書べースの手法を適用できなかった単語を全て除いた場合, 全ての $k$ で辞書べースの手法がクラスタリングベースの手法と同等かそれ以上の結果となっていることが分かる.

次に, 辞書べースの手法が適用できない単語のうち意味変化していない単語（14 単語） を除いた 54 単語で CS を算出した。この設定では辞書の手法を適用できない単語も対象としているため, 適用可能性も性能に含まれる。 その結果を図 3(b) に示す. 図 $3(\mathrm{~b})$ から，kの値が小さい時はほぼ同等だが，全体としてはクラスタリングベースの手法がよ

 & 教養教授適当心持ち \\

表 1 辞書ベースの手法とクラスタリングベース手法の比較結果. 意味変化を捉えることができた単語は $\lceil\checkmark 」$ ，意味変化を捉えることができなかった単語は「×」とした，辞書べースの手法が適用できなかった単語には下線を引いた。

(a) 辞書ベースの手法が適用可能な意味変化していない単語（20 単語）と辞書ベースの手法が適用可能な対象単語 （28 単語）の計 48 単語に対してそれぞれの手法を適用した時の recall@ $k$ の結果。

(b) 辞書ベースの手法が適用可能な意味変化していない単語 （20 単語）と全ての意味変化した単語（34 単語）の計 54 単語に対してそれぞれの手法を適用した時の recall@ $k$ の結果。

図 3 辞書ベースの手法とクラスタリングベースの手法の recall@k の比較結果. 対象単語のうち辞書の手法を適用できなかった 7 単語を除いた 27 を $k$ 最大値とした.

り高い recall 值となっている.

以上の結果から, 全体としてはクラスタリングベースの手法が優れた結果となった. ただし,辞書ベースの手法が適用可能な単語に絞ることで辞書ベースの手法がより優れているといえる.

## 5.2 分析

どちらの手法でも形成されたクラスタは用法の違いを捉えているケースが多かった。「尋常」 のように，その単語特有の用法の変化が起きた単語ではクラスタが原義や転義を直接捉えていたが，語義の変化が起きた単語では用法の特徴でクラスタが形成され，クラス夕内の用例を解釈すると間淵, 小木曽 (2021)の原義や転義に当てはまるというケースがほとんどであった.

また 5.1 節の結果から，クラスタリングベースの手法が有効であることが分かった. しかし， それぞれの手法で意味変化を捉えられる単語は異なった。この違いを表 1 のブロックごとの特徵に注目し分析した結果，以下のことが分かった。 $k$-means 法を用いたクラスタリングベースの手法では, 対象コーパスにおいて原義と転義の出現頻度に大きな差がある時に，意味変化を捉えられない. 辞書べースの手法では, 使用した辞書の語義分類が原義や転義に対応していないケースや語義に付与されている例文に問題があるケースで意味変化を捉えられない。また人間でも原義と転義の違いを判断するのが難しい単語や，コーパス内で片方の語義や用法がごくわずかしか出現しない単語ではどちらの手法でも意味変化を捉えることができない．以下では，上記の分析について具体例を交えつつ紹介する.

図 4〜図 7 の散布図において，丸印は 1898 1922 年，四角印は $1923 \sim 1947$ 年，十字印は 1948

(a) 辞書ベースの手法における (b) 辞書ベースの手法における 「教養」単語ベクトルの散布図。「教養」クラスタの比率変化。

(e) 辞書ベースの手法における (f) 辞書べースの手法における 「適当」単語ベクトルの散布図。「適当」クラスタの比率変化。

図 4 「教養」と「適当」の結果.

～1972 年, 星印は 1973 1997 年であることを示している。辞書べースの手法ではクラスタを構成する要素が必ずしも辞書の語義と一致していなかった。 その場合でも辞書の語義通りのラベルを付与した。クラスタリングベースでは，クラスタを主に構成する要素の語義や用法をラベルとして付与した.

辞書ベースの手法で意味変化を捉えるケース辞書ベースの手法でのみ意味変化を捉えられた単語は，「教養，教授，適当，精々」の 4 単語だった. どの単語も原義と転義の出現頻度に大きな差があった単語である。「教養」と「適当」を例として紹介する。

教養 「教養」は「教育する」という語義から「広い知識（教養がある・ない）」という語義へ変化した。

まず辞書べースの手法の結果を述べる。図 4(a)の語義 0 が転義であり，語義 1 が原義である。図 4(b) から語義 1 の出現頻度が減少し, 語義 0 の出現頻度が増加していることが
分かる.

次にクラスタリングベースの手法の結果を述べる。図 4(c) のクラスタ 1 は「教養学部」 や「教養課程」のような複合名詞で構成されており, クラスタ 0 は主に複合名詞以外の用例で構成されている，図 4(d) をみてもどちらかのクラスタが増減した様子は確認できない.

適当「適当」は「適切・妥当」という語義から「いい加減」という語義に変化した. まずは辞書べースの手法の結果を述べる。図 $4(\mathrm{e})$ の語義 2 が転義で, 語義 0 が原義である. 図 $4(\mathrm{f})$ から語義 0 が減少し, 語義 2 が増加していることが分かる.

次にクラスタリングベースの手法の結果を述べる。図 $4(\mathrm{~g})$ のクラスタ 0 は主に「適当な」 や「適当に」のような後ろに被修飾語が続く用例で構成されており，「適切・妥当」という語義の用例が多く，わずかに「いい加減」という語義の用例もあった。クラスタ 1 は主に「適当する」という形で出現した「適切・妥当」という語義の用例から構成されていた。クラスタ 2 は「不適当」という形の用例から構成されていた。クラスタ 3 は主に 「適当である」や「が適当。」ように後ろに被修飾語が続かない形の用例で構成されており, これらは「適切・妥当」という語義だった。図 $4(\mathrm{~h})$ から, クラスタ 1 とクラスタ 3 が減少し, クラスタ 0 が増加する傾向が見られた. クラスタ 0 は原義と転義の両方からなるが，原義が圧倒的に多いため，意味変化を捉えられていないと判断した。

クラスタリングベースの手法で意味変化を捉えるケースクラスタリングベースの手法では意味変化を捉えられたが，辞書べースの手法では意味変化を捉えられなかった単語は「普通，尋常, ボタン, 広告, 了解, 住居, 設備」の 7 単語だった. これらの単語は原義または転義に対応する語義が辞書に存在しなかったケース, 原義と転義に対応する語義は存在したが例文が十分・適切でなかったケースである。具体例として「普通」と「広告」を紹介する。

普通「普通」は「広く一般に通ずる」という語義から「通常・並」という語義に変化した. まず辞書べースの手法の結果を述べる。図 5 (a) の語義 0 は転義であり, 語義 1 が原義である。各クラスタにはかならずしも辞書の各語義が示す用例が属しておらず，各クラス夕の違いは不明暸だった. 明確な違いとして, 「普通選挙」や「普通教育」といった「普通十名詞」の形で出現する用例のほとんどは語義 0 に属していたが，語義 1 にはそれ以外の用例も同程度属していた. 図 $5(\mathrm{~b})$ をみても語義 0 がやや減少し, 語義 1 がやや増加しており，意味変化を捉えられていない.

次にクラスタリングベースの手法の結果を述べる。図 5(c)のクラスタ 2 は「普通選挙」 や「普通教育」といった「普通+名詞」という形の用例で構成され，これらは「広く一般に通ずる」の語義である．クラスタ 0 と 1 はどちらも「通常・並」の語義であったが， それぞれ用法に特徵があった。クラスタ 0 は「普通の」や「普通は」という形の用例で， クラスタ 1 は主に「〜のが普通」という形の用例で構成されていた. 図 $5(\mathrm{~d})$ からクラス

（a）辞書ベースの手法における（b) 辞書ベースの手法における 「普通」単語ベクトルの散布図。「普通」クラスタの比率変化。

(c) クラスタリングベースの手法における「普通」単語ベクトルの散布図。

(g) クラスタリングベースの手「広告」単語ベクトルの散布図。「広告」クラスタの比率変化。法における「広告」単語べクト
ルの散布図。「広告」単語ベクトルの散布図。「広告」クラスタの比率変化。法における「広告」単語べクト
ルの散布図。

(d) クラスタリングベースの手法における「普通」単語べクトルの散布図。

(h) クラスタリングベースの手法における「広告」単語べクトルの散布図。

(e) 辞書ベースの手法における (f) 辞書ベースの手法における

図 5 「普通」と「広告」の結果.

夕 2 が減少し, クラスタ 0 とクラスタ 1 が増加していることがわかる.このことからクラスタリングの手法では意味変化を捉えたと判断した。複合名詞以外で「広く一般に通ずる」の語義の出現がほとんど見られなかったため, 用法の変化（複合名詞か否か）を捉えることでことで意味変化を捉えたといえる。

広告「広告」は「世間に広く知らせること」の語義から「商業広告」の語義に変化した. まず辞書ベースの手法の結果を述べる。図 $5(\mathrm{e})$ の語義 0 は原義で，語義 1 が転義である.語義 1 に属している用例は全て「商業広告」の語義だか，語義 0 にも「商業広告」の語義の用例が多く属している。図 $5(\mathrm{f})$ をみても意味変化を捉えている様子は確認できない.次にクラスタリングベースの手法の結果を述べる。図 $5(\mathrm{~g})$ のクラスタ 1 は「世間に広く知らせること」の語義と「商業広告」の語義の両方の用例が同程度属していた. クラス夕 0 はほとんど「商業広告」の語義の用例で構成されていた。図 $5(\mathrm{~h})$ からクラスタ 1 が

(a) 辞書ベースの手法における (b) 辞書べースの手法における 「障害」単語ベクトルの散布図。「障害」クラスタの比率変化。

$
\begin{aligned}
& \text { 語義0: 航空機への指示 } \\
& \text { 語童1: 制限すること } \\
& \text { 語義2: 支配すること }
\end{aligned}
$

(c) クラスタリングベースの手法における「障害」単語ベクトルの散布図。

(d) クラスタリングベースの手法における「障害」単語ベクトルの散布図。

(h) クラスタリングベースの手法における「管制」単語べクトルの散布図。 (e) 辞書ベースの手法における (f) 辞書ベースの手法における 「管制」単語ベクトルの散布図。「管制」クラスタの比率変化。 (g) クラスタリングベースの手法における

図 6 「障害」と「管制」の結果.

減少し，クラスタ 0 が増加していることがわかる. クラスタ 1 は「商業広告」の用例を多く含んでいたが，「世間に広く知らせること」の用例も十分に含んでいると判断し，意味変化を捉えたと判断した。

どちらの手法でも意味変化を捉えるケースクラスタリングベースの手法と辞書べースの手法のどちらでも意味変化を捉えたのは「普段, 障害, 柔軟, 結構, 要領, 免許, 優勝, 非常, 全然, 渋滞, ポイント，管制，故障，心持ち」の 14 単語である。 これらの単語は, 上で述べた辞書や出現頻度の問題がない単語である。具体例として，「障害」と「管制」を紹介する。

障害「障害」は「妨げること」という語義から「精神・身体に支障があること」という語義に変化した。

まず辞書べースの手法の結果を述べる。図 $6(\mathrm{a})$ の語義 1 は原義で，語義 0 は転義である.語義 1 には主に「妨げること」の語義の用例, 語義 0 には主に「精神・身体に支障があ

ること」の語義の用例がそれぞれ属しており, どちらも適切な割り当てがなされている.図 6(b) から語義 1 が減少し, 語義 0 が増加していることがわかる.次にクラスタリングベースの手法の結果を述べる。図 6(c) のクラスタ 1 は主に「妨げること」の語義の用例で構成されており，クラス夕 0 は主に「精神・身体に支障があること」の語義の用例で構成されている。図 6(d) からクラスタ 1 が減少し, クラスタ 0 が増加していることがわかる.

管制 「管制」は「管理統制」という語義から「航空管制」という語義に変化した。

まず，辞書べースの手法を説明する。図 6(e) の語義 1 は「制限すること」，語義 2 は「支配すること」の語義であり，これらは原義である．語義 0 は「航空機への指示」の語義であり，転義である，各語義に割り当てられた用例も概ね語義に従うものたっった．図 $6(\mathrm{f})$ から語義 1 と語義 2 を合わせた割合が減少し, 語義 0 が増加していることがわかる.次にクラスタリングベースの手法を説明する。図 $6(\mathrm{~g})$ のクラスタ 2 は「灯火管制」，クラスタ 0 とクラスタ 1 は主に「管制官」，クラスタ 3 は「報道管制」，クラスタ 5 は「軍事管制」，クラスタ 6 は「哭器管制装置」や「管制領域」など上記以外の複合名詞，クラス夕 4 には「管制する」という動詞的な用法，クラスタ 7 はその他の用例でそれぞれ構成されていた。このように各クラスタはほとんど用法ごとに形成されていた。また複合名詞が一括りにならず，特定の複合名詞ごとにクラスタ化されるケースが多かった。原義・転義に注目すると，クラスタ $0 ， 1$ は転義に対応する語義の用例がほとんどだった. クラス夕 6 にも「航空管制」や「管制塔」といった転義に該当する語義の用例がやや見られたが，原義に該当する語義の用例も多く見られた。一方クラスタ $2 ， 3 ， 4 ， 5$ は原義に相当する。図 6(h) からクラスタ $2 ， 3 ， 4 ， 5$ ，を合わせた割合が減少し，クラスタ 0,1 を合わせた割合が増加していることがわかる。このことから意味変化を捉えたと判断した.

どちらの手法でも意味変化を捉えられなかったケース辞書べースの手法とクラスタリングベー スの手法のどちらでも意味変化を捉えられなかった単語は「精々, 風俗, 愛人, 自然, 女性, 乇デル，貴族，情報，主婦」の9 単語であった. これらの単語は上で述べた辞書や出現頻度の問題がどちらもある単語や，対象コーパスで意味変化を捉えるのが難しい単語であった．具体例として，「風俗」と「自然」を紹介する。

風俗「風俗」は「風習・習俗」という語義から「風俗営業」という語義に変化した.

まず辞書べースの手法の結果を述べる。図 7 (a) の語義 0 は「風習」の語義で原義に対応する．語義 1 は「身振りや態度」の語義で，語義 2 は「みなり」の語義, 語義 3 は「風俗歌」の略である。これらは今回対象とした年代よりも前に使われていた古い語義であり， コーパス内ではほとんど存在しない。辞書には「風俗営業」の略という語義が掲載されていたが，その例文は載せられていなかった。そして語義 0 と語義 1 に属する用例に明確な違いは見つけることができなかった. 図 $7(\mathrm{~b})$ から語義 0 が減少し, 語義 1 が増加し

(a) 辞書ベースの手法における 「風俗」単語ベクトルの散布図。「風俗」クラスタの比率変化。

(b) 辞書ベースの手法における

(c) クラスタリングベースの手ルの散布図。

(f) 辞書ベースの手法における 「自然」

ククラスタ0:風爻 ถラスタ 1 -風習+風浴営業 (少量)

(d) クラスタリングベースの手法における「風俗」単語べクトルの散布図。

(h) クラスタリングベースの手

(e) 辞書ベースの手法における 「自然」単語ベクトルの散布図。

(g) クラスタリングベースの手 (h)法における
ルの散布図。法记おける「自然」単語ベクトルの散布図。

図 7 「風俗」と「自然」の結果.

ていることがわかる。しかし，各語義が原義や語義に対応しておらず，割り当てられている用例にもクラスタを説明する特徴が見られないため意味変化を捉えたとはいえない.次にクラスタリングベースの手法の結果を述べる。図 7(c)のクラスタ 0 は原義に対応する用例がほとんどである。クラスタ 1 はわずかに転義に対応する用例を含んでいたが， ほとんど原義に対応する用例で構成されていた。．図 7(d) からクラスタ 0 が減少し，クラスタ 1 が増加しているが，意味変化は捉えていないと判断した．

自然「自然」は「自ずから」という副詞や形容詞としての用法を持つ語義から名詞としての用法を持つ「nature」の訳語へと変化した.

まず辞書べースの手法の結果を述べる。図 $7(\mathrm{e})$ の語義 0 は「誰にも抵抗なく受け入れられるさま、わざとらしくないさま」, 語義 1 は「もしかして、ひょっとして」, 語義 2 は 「おのずから、ひとりでになるさま」, 語義 3 は「物事が偶然に起こるさま」, 語義 4 は「人

の作為によらずに存在するものや現象」, 語義 5 は「自然の事、自然の時、の略。」，語義 6 は「物事がうまくはかどるさま」，語義 7 は「天からうけた性。物の本来の性。」という語義である．語義 $0,2 ， 4$ が転義，語義 5 が原義，にそれぞれ該当し，それ以外の語義は今回対象としているコーパスで注目していない語義である。 図 7 (f) から, 語義 0 が減少し, 語義 4 と語義 5 がわずかに増加していることがわかる。語義の割り当てと実際の用例が対応しておらず，割合が変化した語義と原義・転義が対応していない．よって意味変化を捉えていない。

次にクラスタリングベースの手法の結果を述べる。図 $7(\mathrm{~g})$ のクラスタ 0 は名詞として出現する用例が多く，転義に対応している．クラスタ 1 は副詞や形容詞の用例が多く，原義に対応している. しかし, 図 7 (h) から明確な増減は確認できないため, 意味変化を捉えていないと判断した. 1898 年〜1923 年の段階で転義に対応する用例も十分に出現したため，語義の割合の変化が生じなかったと考える。

## 5.3 評価の信頼性の検証

人手評価の信頼性を検証するために評価の検証実験を行なった．実験協力者には著者を含めず，日本語がネイティブの情報科学専攻の大学院生 2 名に依頼した．対象単語は「障害，貴族，教養, 広告, 普段, 尋常, 風俗, 適当」の 8 単語とした。表 1 における 4 つのブロックから 2 単語ずつランダムに抽出した単語である。 クラスタへのラベル付けの判断は 4.6 節よりも簡易化した，具体的には，クラスタのセントロイド（辞書の手法では語義ベクトル）の近傍 10 個のベクトルを抽出し，そのべクトルに対応する文で対象単語の意味を解釈することで各クラスタのラべルの判定を行なった。その他の条件は 4.6 節と同様である.

評価実験の結果，実験協力者の二者間では最終的な結果は全ての単語で一致し，著者が 4.6 節「意味変化分析の定性評価」で述べた方法で行なった結果と比較すると, 8 単語中 7 単語で一致した．著者との結果が異なった単語は「広告」であり，実験協力者は辞書べースでもクラスタリングベースでも意味変化を捉えていないと判断し，著者は辞書べースでは捉えていないが，クラスタリングベースでは捉えたたと判断した．「広告」は転義を原義で読み変えても文脈的におかしくないケースが多く，判断が難しい単語である． 5.2 節の分析でも「広告」のクラスタリングの結果は明膫でなく，判断が難しい単語であるといえる。この実験結果から人手評価は必ず一致すると言えないものの，8 単語中 7 単語で一致することが確認でき，本研究による評価にはある程度の妥当性があることを検証した。

## 6 辞書ベースとクラスタリングベースの手法の妥当性の検討

5 節から, 日本語の意味変化分析では, 辞書ベースの手法よりもクラスタリングベースの手
法のほうが有効であることが分かった．しかし，辞書やクラスタリング手法の違いが結果に影響することが考えられる．そこで本節では，辞書及びクラスタリング手法を変えて追加実験を行い，5 節での辞書とクラスタリング手法の選択の妥当性について検討した.

## 6.1 辞書ベースの手法における辞書の違いによる影響

5 節で辞書ベースの手法は, 辞書の語義分類が原義や転義に対応していない場合や語義に付与されている例文が十分・適切でない場合に意味変化を捉えられないという結果になった. 先行研究で対象としていた英語では, 例文が豊富で大規模な辞書である Oxford English Dictionary (OED) があるが, 全ての言語でそのような辞書が存在するとは限らない. 日本語では, 5 節の実験で使用した「日本国語大辞典」が最も大規模な辞書の 1 つだが，古い年代の例文が付与されているケースが多かったり，例文が付与されていない語義があったり，そもそも原義または転義に対応する語義が載っていないといった問題があった. そこで，辞書の影響を確認するためにデジタル大辞泉（ジャパンナレッジ版）23を用いて辞書ベースの手法を適用し，日本国語大辞典を用いた場合と比較した。その結果を表 2 に示す.

表 2 から，使用する辞書を変えることで同じ辞書べースの手法でも結果が異なることがわかる.日本国語大辞典では 18 単語, デジタル大辞泉では 14 単語で意味変化を捉えた. 日本国語大辞典でのみ意味変化を捉えた単語は 5 単語あり, デジタル大辞泉でのみ捉えた単語は 1 単語たっった。この結果から, 日本国語大辞典の方が辞書べースの手法に適していることが分かる. デジタル大辞泉は，日本国語大辞典に比べ新しい例文が多かったが，語義の種類や例文の数は日本国語大辞典が豊富だったため, このような結果になったと考える。ここで，デジタル大辞泉を使うことで新たに検出できた単語「自然」を紹介する。

 & 自然 \\

表 2 日本国語大辞典とデジタル大辞泉の比較. 日本国語大辞典で辞書べースの手法を適用できなかった単語は下線, デジタル大辞泉で適用できなかった単語は波線を引いた。どちらの辞書でも適用できなかった単語は載せていない.


(a) デジタル大辞泉を用いた辞 (書ベースの手法における「自然」書単語ベクトルの散布図。

（b）デジタル大辞泉を用いた辞クラスタの比率変化。

(d) DBSCAN を用いたクラ (c) DBSCAN を用いたクラスタリングベースの手法における
「設備」単語ベクトルの散布図。 タリングベースの手法にお変化。

図 8 「自然」と「設備」の結果.

自然「自然」は「自ずから」という語義から「nature」の訳語へと変化した. 図 $8(a)$ の語義 0 , $3,5,7$ が転義に対応し, 語義 2 が原義に対応する. 図 $8(\mathrm{~b})$ から語義 0 が転義の中で大部分を占め, 単調ではないが, 増加していることがわかる。原義は徐々に減少していることがわかる.

## 6.2 クラスタリングベースの手法における $k$-means 法の有効性の確認

5 節の結果， $k$-means 法を用いたクラスタリングベースの手法では，コーパス内での原義と転義のどちらかの出現頻度が極端に少ない場合に意味変化を捉えられないことが分かった. そこで，原義と転義の出現頻度に大きな差がある場合にも適切にクラスタリングが期待できる手法として，密度べースのクラスタリング手法である DBSCAN (Ester et al. 1996)を用いた実験を行なった.

DBSCAN の簡単な説明を述べる. DBSCAN では $\epsilon$ と minPts という 2 つのハイパーパラメータを設定する。 $\epsilon$ はクラスタ形成のための捜索半径で， minPts はクラスタ形成のために必要な最低要素数と考えることができる。次にDBSCAN で用いる操作について述べる。あるべクトル $p$ から半径 $\epsilon$ 以内にあるべクトルの数が $p$ 自身を含め minPts 個以上である場合に， $p$ の半径 $\epsilon$ 以内にあるべクトルのうち，まだクラスタに属していないべクトルを $p$ と同じクラス夕に属させる。この処理を操作 A とよぶ. 操作 A を踏まえ，アルゴリズムの説明に移る。まずランダムにベクトルを選び, 操作 Aを行う. 操作 A が条件を満たし, クラスタを形成した場合, そのクラスタ内で操作 Aが行われていないべクトルに対して操作 Aを行う．クラスタ内の全てのべクトルで操作 A が行われたとき，そのクラスタでの処理は終了する。 その後, 全べクトルの中から操作 A が行われていないべクトルをランダムで選び, 同様の処理を行うことで新たなクラスタを形成していく，全てのべクトルで操作 A が行われたとき，どのクラスタにも属して

 & \\

表 3 クラスタリングベースの手法における $k$-means 法と DBSCAN の比較結果. 意味変化を捉えた単語は $\checkmark \downharpoonleft ，$ 意味変化を捉えなかった単語は「×」とした.

いないべクトルを外れ値（クラスタを構成しないべクトル）とし，アルゴリズムは終了する.

DBSCAN においても $k$-means 法と同様に, シルエットスコアが最大になるようにハイパー パラメータを調整した，実験結果を表 3 に示す。 $k$-means 法では 20 単語, DBSCAN では 10 単語，意味変化を捉えた。

このことからクラスタリングベースの手法において DBSCAN よりも $k$-means 法が適切であることが分かる。これは, DBSCAN で外れ値として除外される用例が過剰に出現したことが大きな原因である。DBSCAN は，ハイパーパラメータに敏感であり，シルエットスコアによる調整が適切に機能しなかった可能性がある。また, DBSCAN に期待していた原義と転義で出現頻度に極端な差がある単語でも意味変化を捉えられていない. DBSCAN が形成したクラスタを確認すると，用法の中でも複合名詞でクラスタ化する傾向が強かった. DBSCANでうまくいかなった単語の具体例として「設備」を紹介する.

設備設備は「設置, 整備」から「建物, 機器」へと意味変化した単語である. 図 8(c)(d) から外れ値が圧倒的に多いことがわかる。 クラスタ 0 が「設備投資」という出現形の用例からなり, クラスタ 1 は「生産設備」, クラスタ 2 は「遊休設備」「過剰設備」からなるクラスタである。形成されたクラスタに原義のクラスタはない。また, そもそも複合名詞以外の用例は全て外れ值となっており, 半分以上の用例が外れ値となっており, 意味変化を捉えられていない.

## 7 現代語 BERT と近代語 BERT の比較

前節までの結果から，単語べクトルの性質がクラスタリング結果に大きな影響を与えていることがわかる。特にクラスタリングベースの手法では複合名詞か否かという違いでクラスタを形成する傾向が強く出ていた。そこで本節では, 公開モデルである事前訓練済みの現代語 BERT と現代語 BERT を対象コーパスで fine-tuning して作成した近代 BERT のそれぞれから獲得した単語べクトルに対してクラスタリングベースの手法を適用し，比較を行なった。

## 7.1 実験結果

定性判断による意味変化の判定結果定性判断による意味変化の判定の結果を表 4 に示す. 現代語 BERT で意味変化を捉えた単語は 20 単語, 近代語 BERT では 16 単語である.よって, 定性判断に基づく意味変化の判定の観点では, 現代語 BERT が近代語 BERT よりも優れた結果である。

JSD によるスコアリングの結果JSD によるスコアリングを現代語 BERT と近代語 BERT のそれぞれから獲得した単語べクトルに対して行い，recall@ $k$ を算出した。その結果を図 9 に示す. 図 9 から, 全ての $k$ の值で近代語 BERT が現代語 BERT と同等かそれ以上の recall 值であることがわかる。よって，JSD のスコアに対する recall@ $k$ の観点では，近代語 BERT が現代語 BERT よりも優れた結果であるといえる。

 & ボタン \\

表 4 クラスタリングベースの手法における, 現代語 BERT と近代語 BERT の意味変化の定性判断の比較結果．意味変化を捉えた単語は「 $\checkmark 」 ，$ 意味変化を捉えられなかった単語は「×」とした．

図 9 クラスタリングベースの手法における, 現代語 BERT と近代語 BERT の recall@k の比較結果. 意味変化した単語数である 34 を $k$ 最大値とした.

## 7.2 分析

実験の結果, 現代語 BERT と近代語 BERT で違いが生じている。また, 定性判断による評価と JSD スコアによる評価で逆の結果になっている。本節ではこれらの違いについて分析を行う。

## 7.2.1 現代語 BERT と近代語 BERT が捉える特徵の違い

現代語 BERT と近代語 BERT でクラスタリングの結果に大きな違いが生じた単語として,意味変化した単語では「非常, 主婦」, 意味変化していない単語では「伴う, 支払う」がある. これらの単語のクラスタリング結果を用例レベルで確認した. 現代語 BERT では, 現代語で使われないような表現（例えば, 文語表現）を1つのクラスタにまとめる傾向があった。一方で,近代語 BERT では古い時期で現れない用法を1つのクラスタにまとめる傾向があった．特に近代語 BERT では古い時期に出現が少ない複合名詞をまとめるケースが特に多かった.

以上のことから対象コーパスで fine-tuning することで, 文語表現のような現代にはない用法で用いられる用例がある単語で意味変化を捉えやすくなることが分かった。一方で fine-tuning によって，古い時期で現れない用法がある単語では，その用法をクラスタ化してしまう傾向があることが分かった．特に複合名詞をクラスタ化するケースが多かった．具体例として「非常」 と「支払う」を紹介する.

非常「非常」は「いつもと異なる」という語義から「程度が高い」という語義へ変化した. まず現代語 BERT の結果を述べる。図 10(a)のクラスタ 0 には，「非常時」や「非常な」 のような「いつもと異なる」の語義の用例が属していた。クラスタ 1 には，「非常に」のような「程度が高い」の語義の用例が属していた。

次に近代語 BERT の結果を述べる。図 10(c)のクラスタ 0 には「非常時」や「非常事態」 のような複合名詞の用法の用例が属していた. クラスタ 1 には，「非常な」や「非常に」 のような複合名詞以外の用法の用例が属していた。

現代語 BERT はクラスタを解釈すると原義や語義に対応するクラスタを形成したが，近代語 BERT は複合名詞か否かという単語固有ではない用法でクラスタを形成しており， クラスタを解釈すると，クラスタ 0 は原義に対応するが，クラスタ 1 は原義と転義が混在している（「非常な」は原義に対応した用例が多く,「非常に」は転義に対応した用例が多い).

支払う「支払う」は意味変化していない単語である。まず現代語 BERT の結果を述べる。図 10(e)のクラスタ 0 には「支払うをす。」のような文語表現が多く属していた. クラスタ 1 には「支払う事」のような「支払う＋名詞」という用法の用例と「支払う。」のように後ろに名詞を伴わない用法の用例が属していた. クラスタ 2 には「支払う金」のような 「支払う＋名詞」という用法の用例が属していた. 図 10(f) からクラスタ 0 が徐々に減少

(a) 現代語 BERT における (b) 現代語 BERT における 「非常」単語ベクトルの散布図。「非常」クラスタの比率変化。

(e) 現代語 BERT における 「支払う」単語ベクトルの散払う」クラスタの比率変化。布図。

(c) 近代語 BERT における

(d) 近代語 BERT における 「非常」単語ベクトルの散布図。「非常」単語ベクトルの散布図。

$(\mathrm{g})$ 近代語 BERT における (h) 近代語 BERT における
「支払う」単語ベクトルの散「支払う」単語ベクトルの散布布図。

図 10 「非常」と「支払う」の結果.

## していることがわかる.

次に近代語 BERT の結果を述べる。図 $10(\mathrm{~g})$ のクラスタ 0 には文語表現,「支払う＋名詞」，後ろに名詞を伴わない用法の用例が属していた。クラスタ 1 には「支払う＋名詞」 という用法の用例だけが属していた。

現代語 BERT では文語表現か否かという特徴でクラスタを形成したが, 近代語 BERT では文語表現のクラスタは形成されていない.

## 7.2.2定性判断と JSD スコアの乘離

現代語 BERT と近代語 BERT で異なる結果となった単語に注目し，分析を行う。まず意味変化していない単語に注目する。意味変化していない単語のうち「伴う」,「支払う」の JSD スコアのランキングは現代語 BERT では高く，近代語 BERT では低かった。「伴う」，「支払う」 は 7.2.1 節で述べたように，現代では出現しないような用法をクラスタ化したケースであった.
逆に, ランキングが現代語 BERT では低く, 近代語 BERT では高い単語は「存在」の 1 単語である. この単語も 7.2.1 節で述べたように, 古い時期には出現していなかった用法がクラスタ化されている。 これらの単語は JSD スコアが高いことから, クラスタの比率の変化は起きている.このことから, 手法はこれらの単語の意味変化ではなく, その単語特有ではない用法の変化を捉えたと考える.

次に意味変化した単語に注目する。表 4 に示されているように「非常」は近代語 BERT において定性判断では意味変化を捉えていないが JSD のスコアは高い.「非常」は近代語 BERT で複合名詞の用法のクラスタと複合名詞以外の用法のクラスタに分けられた.これは「非常」特有の用法の変化や語義の変化を捉えておらず, 意味変化していない単語と同様に, その単語特有ではない用法の変化を捉えたといえる.

以上のことから，クラスタリングベースの手法が意味変化ではなく，その単語特有ではない用法の変化を捉えたケースがあり，JSD スコアによる評価では，それらの違いを識別できないため 2 つの評価手法の結果に乘離が生じたと考える.

## 8 おわりに

本研究では，意味変化の分析手法として，辞書による教師ありのグルーピングを用いた手法とクラスタリングによる教師なしのグルーピングを用いた手法の比較を行なった．その結果,適用可能性を考慮するとクラスタリングを用いた手法が意味変化の分析において有効であることが分かった. さらに，辞書べースの手法で用いる辞書とクラスタリングベースの手法で用いるクラスタリング手法を変更する追加実験を行なった。 その結果, 辞書ベースの手法では辞書によって結果が大きく変わることを確認し, クラスタリングベースの手法では $k$-means 法がシンプルかつ有効であることを確認した. また, 単語べクトルの獲得方法として, 現代語で学習した BERT と対象コーパスで fine-tuning をした BERT を比較した. fine-tuning を行うことで文語のような古い表現でも意味変化を捉えられるケースがある一方で，古い時期で出現が少ない用法がある場合には意味変化を捉えられないケースが生じることが分かった.

## 謝 辞

本研究は国立国語研究所の共同研究プロジェクト「通時コーパスの構築と日本語史研究の新展開」及び JSPS 科研費 19 H00531 の助成を受けたものです.

## 参考文献

Aida, T., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2021). "A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences." In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 21-31, Shanghai, China. PACLIC Steering Committee.

Bloomfield, L. (1933). Language.

Cook, P. and Stevenson, S. (2010). "Automatically Identifying Changes in the Semantic Orientation of Words." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta. European Language Resources Association (ELRA).

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erk, K. and Padó, S. (2010). "Exemplar-Based Models for Word Meaning in Context." In Proceedings of the ACL 2010 Conference Short Papers, pp. 92-97, Uppsala, Sweden. Association for Computational Linguistics.

Ester, M., Kriegel, H.-P., Sander, J., and Xu, X. (1996). "A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise." In Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining, KDD'96, pp. 226-231. AAAI Press.

Geeraerts, D. (2015). "How Words and Vocabularies Change." In The Oxford Handbook of the Word. Oxford University Press.

Giulianelli, M., Del Tredici, M., and Fernández, R. (2020). "Analysing Lexical Semantic Change with Contextualised Word Representations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016a). "Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2116-2121, Austin, Texas. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016b). "Diachronic Word Embeddings Reveal

Statistical Laws of Semantic Change." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany. Association for Computational Linguistics.

Hou, R., Huang, C.-R., and Ahrens, K. (2020). "Language change in Report on the Work of the Government by Premiers of the People's Republic of China." In Proceedings of the 34th Pacific Asia Conference on Language, Information and Computation, pp. 100-106, Hanoi, Vietnam. PACLIC Steering Committee.

Hu, R., Li, S., and Liang, S. (2019). "Diachronic Sense Modeling with Deep Contextualized Word Embeddings: An Ecological View." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy. Association for Computational Linguistics.

Karnysheva, A. and Schwarz, P. (2020). "TUE at SemEval-2020 Task 1: Detecting Semantic Change by Clustering Contextual Word Embeddings." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 232-238, Barcelona (online). International Committee for Computational Linguistics.

Kim, Y., Chiu, Y.-I., Hanaki, K., Hegde, D., and Petrov, S. (2014). "Temporal Analysis of Language through Neural Language Models." In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA. Association for Computational Linguistics.

Kutuzov, A. and Giulianelli, M. (2020). "UiO-UvA at SemEval-2020 Task 1: Contextualised Embeddings for Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 126-134, Barcelona (online). International Committee for Computational Linguistics.

Lin, J. (1991). "Divergence measures based on the Shannon entropy." IEEE Transactions on Information Theory, 37, pp. 145-151.

間淵洋子, 小木曽智信 (2021). 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会第 27 回年次大会発表論文集, pp. 1166-1170, 北九州国際会議場（オンライン開催）. 言語処理学会事務局. [Y. Mabuchi and T. Ogiso (2021). Kingendai Nihongo no Imi Henka Bunseki notameno Tango Detasetto Kochiku no Kokoromi. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1166-1170.].

Martinc, M., Kralj Novak, P., and Pollak, S. (2020). "Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France. European Language Resources Association.

Matej, M., Syrielle, M., Elaine, Z., and Lidia, P. (2020). "Capturing Evolution in Word Usage: Just Add More Clusters?" In WWW '20: Companion Proceedings of the Web Conference 2020, pp. 343-349. Association for Computing MachineryNew YorkNYUnited States.

Melamud, O., Goldberger, J., and Dagan, I. (2016). "context2vec: Learning Generic Context Embedding with Bidirectional LSTM." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 51-61, Berlin, Germany. Association for Computational Linguistics.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of ICLR Workshops Track, 2013.

Montariol, S., Martinc, M., and Pivovarova, L. (2021). "Scalable and Interpretable Semantic Change Detection." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4642-4652, Online. Association for Computational Linguistics.

Peter, R. (1987). "Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis." In Journal of Computational and Applied Mathematics, Volume 20, pp. 53-65.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Pilehvar, M. T. and Camacho-Collados, J. (2019). "WiC: The Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1267-1273, Minneapolis, Minnesota. Association for Computational Linguistics.

Radford, A. and Narasimhan, K. (2018). "Improving Language Understanding by Generative Pre-Training.". https://openai.com/research/language-unsupervised.

Rodina, J. and Kutuzov, A. (2020). "RuSemShift: a dataset of historical lexical semantic change in Russian." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1037-1047, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Schlechtweg, D., McGillivray, B., Hengchen, S., Dubossarsky, H., and Tahmasebi, N. (2020). "SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online). International

Committee for Computational Linguistics.

Schütze, H. (1998). "Automatic Word Sense Discrimination." Computational Linguistics, 24 (1), pp. $97-123$.

Vassilvitskii, S. and Arthur, D. (2006). "k-means++: The Advantages of Careful Seeding." In Proceedings of the 18th Annual ACM-SIAM Symposium on Discrete Algorithms, pp. 1027-1035.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." Advances in Neural Information Processing Systems, 30.

Yao, Z., Sun, Y., Ding, W., Rao, N., and Xiong, H. (2018). "Dynamic Word Embeddings for Evolving Semantic Discovery." In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, pp. 673-681, New York, USA. Association for Computing Machinery.

## 略歴

小林千真 : 2021 年法政大学理工学部創生科学科卒業. 同年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 現在に至る.

相田太一：2020 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2022 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了.同年同大学同研究科同学域博士後期課程進学. 現在に至る.

岡照晃 : 2010 年豊橋技術科学大学情報工学課程卒業. 2012 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年より日本学術振興会特別研究員 (DC2) を経て, 2015 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年京都大学大学院情報学研究科特定研究員. 2016 年国立国語研究所言語変化研究領域プロジェクト非常勤研究員. 同年同研究所コーパス開発センター特任助教. 2021 年東京都立大学システムデザイン学部特任助教. 2023 年一橋大学大学院ソーシャル・データサイエンス研究科特任助教. 現在に至る.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年同研究科博士後期課程修了. 博士 (工学). 同年同研究科助教. 2013 年首都大学東京 (現東京都立大学）システムデザイン学部准教授. 2022 年同大学同学部教授. 2023 年より一橋大学大学院ソーシャル・データサイエンス研究科教授. 現在に至る.
情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2022 年 11 月 1 日受付)

(2023 年 2 月 8 日再受付)

(2023 年 3 月 9 日採録)