# 単語音素のベクトル化による言語地図作成

近藤泰弘
青山学院大学
yhkondo@cl.aoyama.ac.jp

## 概要

同じ意味の単語について，方言によって語形が異 なることが一般的だが，その細かな語形を分類し て，その方言形の採取地点の地図上に対応するアイ コンを配置したものを，「言語地図」という。これ までは, 言語地理学の分野で, 「言語地図」は単語の 語形を見ながら，研究者がそれを分類して，アイコ ンの色や形を決めていたが，本研究では，語形をそ の音素の分布のベクトルに変換し，機械学習によっ て分類することで，アイコンの種類の決定を自動化 する手法を提案した. 単語のベクトル化は. 文脈か ら意味の分散表現による埋め込みべクトルを作成す るのが一般的だが，言語地図のための方言の語形に は，そのような意味による文脈は存在しないため，今回は, 文書ベクトルの BoW(Bag of Words) の手法 に習い，語形の音素の BoC（Bag Of Characters）表現 を用いて，音素の頻度ベクトルを用いて分類を行っ た. そして，音素の unigram の BoC のベクトルによ る方法に実用的な優位性があることを示した.

## 1 はじめに

社会言語学の研究の中では, 方言語形を地点ごと に配置するいわゆる「言語地図」を作ることが一般的である。そのような方法は「言語地理学」と言わ れることが多い。その初期には手作業でスタンプを 地図に押印する方法がとられたが，近年では，GIS の手法を用いて，電子的に表現する方法が一般的で ある. 「言語地図」の研究手法は, 古く, 柳田国男の 『蝸牛考』[1]で知られるように（例えば，列島の中心部で「デンデン」，その回りに「マイマイ」さらに その周辺部で「カタツムリ」，そして「ナメクジ」が あるように見えることから，周圈分布などと呼ばれ た）日本語の古語の語形の歴史的な流布順序などを 推定するのに役立つとされている. 方言語形は非常 に多様で。「かたつむり」の方言形のひとつである 「ナメクジ」系にしても，「ナメクシ・マメクジ・ナ
メクジリ・ナメラ・ナメクジナ」など極めて多くの バリエーションがある.これらをひとまとまりとし て.「マイマイ」系や「デンデンムシ」系などをま とめたものと，はっきりと区別するように表示する 必要がある. しかし今回，テストデータとして用い た「日本言語地図」データなどでは全国に 2800 地点分程度の方言語形があり，それぞれが微妙なバリ エーションを示している. したがってこれを全部，研究者の判断で分類して，特定のアイコンに結びつ けることは非常に手間が掛かり，言語地図を作るう えでの障害であったため, その自動化の手法を提案 したい.

今回はそれを自動化するために，各単語ごとの 音素（ローマ字 1 字に相当）の頻度を測り, Bag of Characters あるいは, Bag of character N-gram ( $\mathrm{n}=1$ ま たは2)のようにして，各単語について 26 次元のべ クトルを作成した. 実際は，その中で今回は使わな い，音素に含まれない文字，例えば Xなどもある が，今後の拡張も考えて 26 個とした.

## 2 関連研究

日本語の言語地図をコンピュータで作成する試 みは既になされている. 古くはメインフレームの時代の荻野綱男の GLAPS， [2] PC になってからの福嶋（尾崎）秩子の SEAL [3] などがある. 大西拓一郎も，Adobe イラストレータや GIS 系のアプリを 駆使して言語地図を発表している. [4] Pythonを 用いたものも，松浦年男 [5]，加藤幹治 [6] のものな どが公開されている。

類似した発想によるものとして，語形（音形）の レーベンシュタイン距離を用いて，方言間の差異を 計測した研究があり，参考になる [7]. [8] 日本語に おいても，方言分類を論じる場合に使われた. しか し，それらで既に示されているように，音素（ロー マ字と同一と考える）のレーベンシュタイン距離で は，母音字と子音字とが区別なく扱われるため，母音交替や子音交代が頻繁に起きる日本語の実状にあ
表 1 DENDENMUSI の語形音素ベクトル 00022000100120000101000000 abcdefghijklmnopqrstuvwxyz

## わない部分がある.

また，モーラの unigramを用いて，方言間の距離 を計算して，方言を分類するという研究もある [9]. これも母音・子音の交代を反映できない問題があ る.また，方言区画を計算する研究もある。 [10]

以上のように，語形の距離を測るという方向での 研究は多いが，本研究のような手法を用いたものは 管見では，世界的に存在しない。

## 3 提案手法

1 節で述べた通り，本研究では，単語の語形の ローマ字表記をデータとして用いた。 ローマ字表記 は，ほぼ音素表記と同等のものと考えることができ る。それをべクトル化し，その後に，教師なし機械学習で 2 次元への圧縮を行い，クラスタに分類する ことで，その1クラスタごとにアイコン (今回は色) を与えて，アイコン付与の自動化を実現した。

## 3.1 モデル

表 1 のように、アルファベットの 26 次元のベク トルを用意し、それぞれに語形内（この例は「デン デンムシ DENDENMUSI」）の各文字の使用頻度を入 れる。つまり、このベクトルはある単語の語形 (の 構成音素）の持つ母音・子音の分布と頻度情報を 持っていることになる. ここでは $\mathrm{N}=1$ (unigram) な ので、字の順序情報は入っていない.

この語形音素べクトルを地図ごと（地図により、 それぞれ 1500 から 2800 余の語形がある）に、機械学習で適宜次元圧縮して、さらにクラスタに分け て、音素ベクトルの特徴量によって語形アイコンの 色分けを行った.

なお，比較のため， $\mathrm{N}=2$ (bigram)のものも作成し た. その場合は, aa から始まり zz までの 676 次元 のベクトルを作成するので，DENDENMUSI の場合 は，DE,EN,ND,DE,EN,NM,MU,US,SI となり，DE と ENが頻度 2，他が 1 となる。

## 3.2 学習

各地点の音形（ローマ字）を語形ごとに音素の頻度を計算し，BoCの形にベクトル化した。その後， そのべクトル化したデータを，学習データとして，
Python のライブラリの scikit-learn の PCA を用い, 26 次元ベクトルのまま学習させた。また，それによっ て次元圧縮し，いくつかの次元のデータを作成した 後，最適な次元を決定し，またその低次元データを K-Means で学習させることで，クラスタに分類した。 クラスタ数の最適化については，語形分類が実用的 にできるかどうかを主として考え，エルボー法など で結果を裏付けた，最終的な地図の見やすさの評価 については，今後の課題とすべき点が残っている.

## 3.3 分類結果の表示

クラスタに分類した語形を，アイコンの色に置き 換えて，方言の採取地点の緯度経度によって指定さ れた位置に配置する．地図のスケールの動的な変更 を用いることによって，従来の静的な言語地図より も見やすい表示を実現する。

## 4 実験と考察

## 4.1 実験設定

提案手法の評価には，代表的な日本語方言の言語地図用のデータセットである「日本言語地図データ ベース」(国立国語研究所編) [11]を用いた. 公開さ れている「日本言語地図」データには各種あるが， ここでは，熊谷康雄が開発したものを用いた。 デー タは，CSV 形式で，語形（ローマ字音素表記），地点番号, 緯度, 経度, からなっている.

日本言語地図のすべての語形についてではなく, その一部についてのみ公開されているが，今回はそ の中から「かたつむり」と「くるぶし」のデータを 用いた. それぞれ，2800 件のデータ数である. 処理プログラムの実装には Python 3.8.16 と scikit-learn 1.0.2を用いた，地図へのプロットには動的地図を 作成できるため，folium 0.14.0を用いた.

## 4.2 結果

実験結果を表 2 に示す.このように，BOW の音素の単位を unigram にしたばあいと bigram にした場合を比較すると，どちらの語でも unigram の方がよ い成績を示した. bigram では出現順情報の一部を捉 えられるが，ベクトルがかなりスパースになるた め，データ量が少ない今回のようなものでは精度が 出ないものと考えられる。 また, 図 3 に7クラスタ での散布図を示した（`印は中央点），図 4 から図 6 が，実際の言語地図の例である。
表 2 主成分の分散の寄与度 (第 2 成分まで)

表 3

## 5 クラスター数の調整と性能

K-Means には，クラスター数決定の難しさがある。今回もどれだけのアイコンの種類（色）にするかと いう点で決定的な問題がある. 方言語形は非常に多様であるので，そのすべてを完全に分類することは 原理的に不可能であり，おおよそ，代表的な語形が 同じ分類になり，頻度の少ない語形については，あ る程度，多種の語形が同じ分類になっても実用上は かまわないという点もある. そこで，まず基本的な 数値を把握するために，通例のようなエルボー図 （図 1 と図 2）を作成したところ，クラスター数 4 あ たりで十分と見られる. エルボー図はあくまでも概要を捉えるに過ぎないので，いくつかの值によって 作成した言語地図を作り，実際の分類状態を観察し てみた。示したのは，クラスター数 7 という値，つ まり，アイコンの種類が 7 ということになる. 7 の 場合，主要語形の「カタツムリ」「デンデン」「ダイ 口」系はほぼ完全にそれぞれ 1 つのアイコン色に当 てはまり分離ができるが，それ以外の語形の「ナメ クジ」系などの資料が少ない語形は表 3 のように同色に配当されてしまう。これはこの方法の限界であ るが，地図を見る場合には，色の異なりで，「主要語形とは違う」ことがわかるため，参考資料として使 うには問題ない部分がある。

図1「かたつむり」のクラスター数調整

図 2 「くるぶし」のクラスター数調整

## 6 結論

本研究では，従来不可能だった，言語地図におけ る語形のアイコンへの適切な割り当てを行う手法を 提案し，ほぼ当初の目的通りの自動化を実現した。 そのために，単語の音素情報のみによって作る BoW 方式の音素べクトルを作成して機械学習によって分類するモデルを考案し，それによって既存の言語地図データセットを学習することで，語形をある程度分類することが可能であることを示した。また，性能的には，音素の unigram と bigram によるものを比較し，この場合，unigram の方が分類性能が高いこ とを示した。

今後，語形ベクトルを演算することで，分布の比較の数量化や，方言語形の移動の計算なども行うこ とを検討したい。

図 3 「かたつむり」unigram 散布図

図 4 「かたつむり」関西

図 6 「くるぶし」関東 (拡大図)

図 5 「かたつむり」東北 (拡大図)

## 謝辞

本研究の評価データセットに用いた『日日本言語地図』データベース」を開発した，国立国語研究所，熊谷康雄氏，サイトの保守にあたっている大西拓一郎氏に感謝申し上げます。

## 参考文献

[1] 柳田国男. 蝸牛考. 刀江書院, 1830 .

[2] 荻野綱男. コンピュータ言語地理学. 言語研究, Vol. 1978, No. 74, pp. 83-96, 1978.

[3] 福嶋秩子. 言語地理学のへや, 2022. https://www. unii.ac.jp/chitsuko/inet/lg7.html.

[4] 大西拓一郎. 言語地図作成の電算化. 日本語学, Vol. 21, No. 11, 2002.

[5] 松浦年男. Python でプロットした地図を出力する, 2020. https://note.com/yearman/n/n69fa3f2d583d.

[6] 加藤幹治. Python の geopandas を使っ て，複数の言語特徼に基づいた地図を出力する, 2020. https://qiita.com/ hamident0/items/1baabe5f7034df838589?fbclid= IwAR1EnwTQwidJDDWoR-5UHzwTSM0dFxJtepnmbKNxEoXW65xRiGDpe4w-6PY.

[7] 鑓水兼貴. 共通語化過程の計量的分析. 東京外国語大学博士論文, 2009.

[8] Wolfgang Vierreck. The computer developed linguistic atlas of england, volumes 1 (1991) and 2 (1997). International Computer Archive of Modern English: ICAME journal, Vol. 1997, No. 21, pp. 79-90, 2015.

[9] 金明哲・中村靖子. 文学と言語コーパスのマイニン グ. 岩波書店, 2021.

[10] INOUE Fumio. Computational dialectology. Area and Calture Studies, Vol. 52, No. 1, pp. 68-100, 1996.

[11] 国立国語研究所. 『日本言語地図データベース』, 2016. https://www. lajdb.org/TOP.html.
 近藤泰弘 青山学院大学 yhkondo@cl.aoyama.ac.jp  