# 静的な単語埋め込みによる カタカナ語を対象とした BERT の語彙拡張

平子潤
名古屋大学情報学部
hirako.jun@g.mbox.nagoya-u.ac.jp

## 1 はじめに

BERT[1] ではサブワードを利用することで語彙に 含まれない未知語を含む文も適切に処理することが 可能となっている. しかし，サブワードが意味を持 つ適切な単位となっていない場合，その有効性は限定的であると考えられる。こうしたケースはカタカ ナ語の未知語において特に多く出現すると言える。 たとえば本研究で使用した BERT (3.2 節参照)では,「クロワッサン」は「クロ」「\#\#」「\#\#ッサン」の 3 つのサブワードに分割されるが，これらは意味のあ る単位とはなっていない。

このような未知語を含む文を適切に扱えるよう にする 1つの方法は語彙サイズを大きく設定し, こ れらの語を語彙に含めてしまうことである. しか し，BERT の事前学習時の語彙サイズを大きくした 場合，計算コストが増大してしまう，そこで，本研究では比較的低コストに学習できる静的な単語埋め 込みを用いた BERT の語彙拡張手法を提案する.

## 2 単語埋め込みのマッピング

BERT は，図 1 に示すように語彙に含まれる各単語に対し文脈に依存しない単語埋め込み (BERT Token Embeddings) を持っている.この埋め込み層 を拡張することで BERT の語彙の拡張が可能とな る. 本研究では, より大きな語彙サイズで学習した 静的な単語埋め込みを, BERT Token Embeddings と 共通する語を手掛かりにマッピングすることで，事前学習済みの BERT の語彙を拡張する。

## 2.1 既存のマッピング手法

異なる単語埋め込み空間のマッピングは, 2 言語間の単語埋め込みの対応付けを目的として行われる 場合が多い [2]. 教師あり手法の場合， 2 言語辞書を 用いて対応付けるべき単語ペアを獲得し，各単語ぺ アの単語ベクトルが近くなるようにソース単語埋め

\author{
笹野遼平武田浩一 \\ 名古屋大学大学院情報学研究科 \\ \{sasano, takedasu\}@i.nagoya-u.ac.jp
}

図 1 BERT の構造. BERT Layers は BERT の Input Embeddings 以外の層を表している.

込みをターゲット単語空間にマッピングする。この ような手法の先駆けとして, Mikolov ら [3] は，マッ プ後のソース単語ベクトルとターゲット単語ベクト ルの平均二乗誤差が小さくなるような変換行列 $W$ を SGDで求める手法を提案した．また，Xing ら [4] は，ソースとターゲットの全単語ベクトルのノルム を正規化し，変換を直交変換に限定する手法を提案 した. さらに, Artetxe ら [5] は, ノルムの正規化や 直交変換に加えて，分散の正規化，再重み付け，次元削減を複数ステップで行う枠組みを提案した.

## 2.2 静的な単語埋め込みからのマッピング

本研究で目的とする, 静的な単語埋め込みから BERT Token Embeddings へのマッピングが，既存の 言語間の単語埋め込みのマッピングと大きく異なっ ている点として，言語間マッピングでは基本的に各言語における単語埋め込み生成アルゴリズムは同一 のものが使用されるのに対し，本研究におけるマッ ピングではソース単語埋め込みとターゲット単語埋 め込みの生成アルゴリズムが異なっていることが挙 げられる。したがって，マッピング対象とする $2 \supset$ の埋め込み空間の性質が大きく異なる可能性が考 えられることから，本研究で使用した BERT Token Embeddings と, fastText で学習した静的な単語埋め 込み (3.2 節参照) の両方に含まれる単語のノルムの 関係を調査した. 結果を図 2 , 図 3 に示す. BERT

図 2 BERT Token Embeddings と fastText Skip-gram で共通 する単語のノルムの関係. 相関係数は 0.355 .

図 3 BERT Token Embeddings と fastText CBOW で共通す る単語のノルムの関係. 相関係数は-0.142.

Token Embeddings と fastText で学習した静的な単語埋め込みの間で，ノルムに強い相関は確認できず， また，平均値も大きく異なっていることが分かる. ${ }^{1}$

これらの結果から，単純な変換行列に基づくマッ ピングを行った場合，ノルムの性質の違いを要因と し精度低下が起こる可能性が考えられる。そこで，単純な変換行列に基づくマッピング (補正なし) に加 え，ノルムの性質の違いを考慮した3つのマッピン グ手法を含めた下記の 4 つのマッピング手法を考 える。これらの手法において直交変換は，変換後の ソース単語埋め込みとターゲット単語埋め込みの平均二乗誤差が最小となるように行う.

1. 補正なし: 静的な単語埋め込み $M$ を直交変換

2. 平均補正: 静的な単語埋め込み $M$ の平均ノルム が BERT Token Embeddings の平均ノルムと一致 するよう $M$ を定数倍してから直交変換

3. 正規化: 静的な単語埋め込み $M$ と BERT Token Embeddings の全ベクトルを正規化してから直交変換

4. 正規化＋補正: 静的な単語埋め込み $M$ と BERT Token Embeddings の全ベクトルを正規化してか ら直交変換した後，BERT Token Embeddings の 平均ノルムで変換後の $M$ を定数倍


本研究では，サブワードが適切に機能しないケー スが多いと考えられるカタカナ語を対象に，これら 4 つのマッピング手法を用い fastText で学習した静的な単語埋め込みを BERT Token Embeddings にマッ ピングすることで BERT の語彙拡張を行う。

## 3 実験

本研究では語彙拡張の有効性をマスク単語予測実験を通して検証する，具体的には，語彙拡張が有効 であるならば，拡張した語を含む文において拡張語 と依存関係の強い周辺語のマスク単語予測の精度 が，語彙拡張前の BERTを使った場合，すなわち拡張語をサブワードの系列として扱った場合と比べ 向上するとの仮説に基づき，マスク単語予測データ セットを作成し, それらのタスクの精度を通して語彙拡張の有効性を検証する。

## 3.1 マスク単語予測データセット

語彙拡張の有効性検証のため，上位語予測，兄弟語予測, 述語予測, 被連体語予測の 4 タイプのマ スク単語予測データセットを作成した. 以下の文 (1) (4) はそれぞれのタイプの例となっている.

(1) <カボチャ>は [野菜] の一種です。

(2) 「<スプーン>」と「[フォーク]」。

(3) くフローラル>の [香り]が気に入った。

(4) 久しぶりに<クロワッサン>を [食べる]。

これらの例において, '<>' で囲った語が拡張語, '[]' で囲った語がマスク予測対象語となっており，いず れの場合もマスク予測対象語は拡張前の BERT の語彙に含まれている語である. 各タイプのデータセッ トの作成方法と評価指標を以下にまとめる.

上位語予測 拡張語の上位語が予測対象語とな るようにデータセットを作成した，入力文は『<拡張語>は [MASK] の一種です。』とし，対象とする拡張語は，日本語 WordNet[6] に含まれ，拡張語を含 む synset の上位 synset に BERT の語彙に含まれる 語が存在した語とした. 条件を満たした拡張語は 2730 個であった. 正解となる上位語は複数存在す る可能性があることから評価指標には Mean Average Precision (MAP) を用いた。

兄弟語予測 拡張語の兄弟語が予測対象語とな るようにデータセットを作成した．入力文は『く<拡張語>」と「[MASK] ]。』とし, 対象とする拡張語 は，日本語 WordNetに含まれ，拡張語を含む synset の上位 synset の下位 synset から，拡張語が含まれる
表 1 マスク単語予測実験の結果 (太字は拡張なしょり高いスコアであることを表す)

} & \multirow{2}{*}{ 拡張なし } & \multicolumn{4}{|c|}{ 拡張あり (Skip-gram) } & \multicolumn{4}{|c|}{ 拡張あり (CBOW) } \\

synset を除いた synset (兄弟 synset) に BERT の語彙 に含まれる語が存在した語とした. 条件を満たした 拡張語は 3049 個であった. 上位語予測と同様に評価指標には Mean Average Precision (MAP) を用いた。

被連体語予測拡張語が連体修飾する語が予測対象語となるようにデータセットを作成した. 具体的には，Common Crawl に含まれるテキスト2を， $\mathrm{MeCab}^{3}$ を用いて形態素解析し, そこから『<拡張語 >のく名詞〉く格助詞〉』というパターンを含む文章を 抽出し，BERT の語彙に含まれるく名詞〉を [MASK] に置き換えた 1 万文を使用した．正解単語は置き換 え前の<名詞>とし, 正解が 1 つであることから, 評価指標には平均逆順位 (MRR)を用いた。

述語予測 拡張語を項とする述語が予測対象語と なるようにデータセットを作成した，具体的には， Common Crawl から『<拡張語〉<格助詞〉<動詞〉。』と いうパターンを含む文を抽出し，BERT の語彙に含 まれているく動詞〉を [MASK] に置き換えた 1 万文を 使用した．ただし，情報量の少ない「する」や「な る」などの述語を除くため, 平仮名のみで構成され るく動詞〉を含む文は対象から外した，被連体語予測 と同様に評価指標には平均逆順位 (MRR)を用いた。

## 3.2 実験設定

静的な単語埋め込みの作成には, fastText ${ }^{4}$ を利用 し, Skip-gram と CBOW[7] の 2 つのモデルで学習を 行った.コーパスは Wikipedia 日本語版を利用し, $\mathrm{MeCab}^{3}$ により単語分割を行った. 次元数は BERT Token Embeddings と同じ 768 次元とした. また, 事前学習済みの BERT として, 東北大学で公開されて いるモデル゙を利用した。

実験では，語彙拡張を行わないBERTをべースラ インとし, 4 つのマッピング手法 (補正なし, 平均補正，正規化，正規化+補正) で語彙拡張した BERTを 比較した. マッピングの学習には, BERT の語彙の
^{2} \mathrm{http} / / /$ statmt.org/ngrams/で公開されているデータを利用した.

${ }^{3}$ https://taku910.github.io/mecab/ (辞書: mecab-ipadic)

${ }^{4}$ https://github.com/facebookresearch/fastText

 }^{5}$ https://github.com/cl-tohoku/bert-japanese で公開されているモ デルのうち, Wikipediaを MeCab (ipadic) と WordPiece で単語分割 し, Whole Word Masking で学習したモデルを利用した.


うちサブワードトークン(「\#\#」から始まる) と特殊 トークン ([MASK] や [CLS] など) を除く，すべての 単語を使用した. 拡張対象語彙は，静的な単語埋め 込みの学習に使用した Wikipedia において，BERT の語彙に含まれない出現頻度上位 32000 個のカタ カナ語とした. ただし，カタカナ語とは， MeCabに よって 1 語としてまとめられた，カタカナのみで 構成される単語である. 32000 語を語彙に追加する ことで, Wikipediaのカタカナ語の頻度ベースのカ バー率は $71.3 \%$ から $90.7 \%$ となった.

## 3.3 実験結果

表 1 に実験結果を示す. 上位語予測と兄弟語予測 では，提案手法のうちノルムの違いを考慮した 3 手法はベースライン (拡張なし)を上回った。一方，被連体語予測と述語予測では，いずれの手法を用いて もべースラインを上回ることができなかった.これ については次節で詳細な分析を行う。

ノルムの補正を行わない手法 (補正なし) と行う手法を比較すると，補正を行うことで精度が大幅に向上することが確認できる。一方，ノルムの補正を行 う 3 手法間では大きな精度の違いは見られなかっ た. このことは, 図 2, 図3で示したように，BERT Token Embeddings と静的な単語埋め込みのノルムの 性質が大きく異なるため，ノルムの平均の補正や正規化を行わなずに直交変換するだけでは適切にマッ ピングできないことを示している.

マッピングに使用した静的な単語埋め込みの 学習に利用した 2 モデルを比較すると，ノルム の補正を行わなかった場合 (補正なし) は, BERT Token Embeddings とのノルムの相関が比較的大きい Skip-gram を用いた場合の方が，CBOWを用いた場合より高い精度となった. 一方，ノルムの補正を 行った場合は静的な単語埋め込みの違いによる精度差はほとんど確認できなかった。

## 4 単語構成と出現頻度による分析

被連体語予測および述語予測において，提案手法 がベースラインを上回ることができなかったのは，大きく2つの要因があると考えられる.

1つ目は，単語に構成性があることである．たと えば拡張したカタカナ語に含まれる「ビデオカメ ラ」は，「ビデオ」と「\#\#カラ」という 2 つのサブ ワードに分割されるが，これらはそれぞれ意味を持 つ形態素となっている.このようにより細かい形態素に分解可能な語は，カタカナ語であっても意味の あるサブワードに分割することができるため，サブ ワードが有効に働くと考えられる.

2 つ目は, 出現頻度の高いカタカナ語の存在であ る. 高い頻度で出現するカタカナ語の場合，人間が 見た場合に意味のあるサブワードに分割すること ができなかったとしても，それらのカタカナ語の 意味を適切に処理できるようにサブワードの埋め 込みの学習が行われている可能性がある。たとえ ば，拡張したカタカナ語に含まれる「ペンギン」は， Wikipedia において 1900 回以上という高い頻度で出現していることから，「ペンギン」を構成する「ぺ ン」および「\#\#ギンというサブワードは「ペンギ ン」に近い意味となるように学習が行われている可能性がある.

これら 2 つの要因による影響を検証するため，拡張語を単語構成と出現頻度に基づき分類した 8 つの タイプごとに，被連体語予測と述語予測においてカ タカナ語を追加する効果を調査した。具体的には，下記の基準によりカタカナ語を分類し, Common Crawl から各タイプに該当する文を 2500 文ずつ抽出 し，正規化+補正手法により語彙を拡張する場合と， しない場合の精度を比較した。

単語構成による分類Unidic[8] が採用している，短い語の単位である短単位に基づきカタカナ語を形態素解析し ${ }^{6}$, Unidic に含まれる複数の語に分割さ れたものを複合語，それ以外の語を単純語に分類

出現頻度による分類 32000 語のカタカナ語を， Wikipedia における出現頻度により上位 $25 \%$, 上位 $25 \sim 50 \%$ ，上位 50 75\%，下位 $25 \%$ の 4 つに分類

実験結果を表 2 に示す。表 2 において太字はべー スラインより高いスコアであることを示す. 単純語 かつ出現頻度が高くない単語に対しては, ほとんど の場合において，拡張ありのスコアが拡張なしのス コアを上回っており，語彙拡張が有効であることが 確認できる。このことから，拡張するカタカナ語を 単純語かつ高頻度でない単語に限定すれば，有用な 単語拡張が可能であると考えられる。一方，合成


表 2 単語構成と出現頻度による分析 (MRR)

} & \multirow{3}{*}{} & \multirow{3}{*}{ 出現頻度 } & \multirow{3}{*}{ 拡張なし } & \multicolumn{2}{|c|}{ 拡張あり } \\

表 3 マスク単語予測において改善した例

語，および，単純語であっても頻度上位の語につい ては拡張することでスコアが低下しており，被連体語予測および述語予測においてカタカナ語を対象と した語彙拡張によるスコアの向上が確認できなかっ た要因は，構成的な単語および高頻度語を対象とし た語彙拡張が有効でなかったためであると言える。

表 3 に BERT の語彙を拡張したことによる改善例 を示す. 語彙拡張を行うことで「クロワッサン」な どの語の意味を適切に捉えることができるように なっていることが確認できる.

## 5 おわりに

本研究では, 静的な単語埋め込みから BERT Token Embeddingsヘマッピングを行うことで，BERT の語彙を拡張する手法を提案した. さらに，マスク単語予測データセットを用いて，カタカナ語を対象とし た語彙拡張の有効性の検証を行い，単純語かつ出現頻度が高くないカタカナ語については語彙拡張が有効であることを示した．今後の課題としては，構成的でない漢字語などカタカナ語以外に対する提案手法の有効性の検証や，本研究で用いた直交変換に基 づく手法より適したマッピング手法の解明などが考 えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL'19, pp. 4171-4186, 2019.

[2] Sebastian Ruder, Ivan Vulić, and Anders Søgaard. A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, Vol. 65, p. 569-631, 2019.

[3] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv:1309.4168, 2013.

[4] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized word embedding and orthogonal transform for bilingual word translation. In Proc. of NAACL'15, pp. 1006-1011, 2015.

[5] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. Generalizing and improving bilingual word embedding mappings with a multi-step framework of linear transformations. In Proc. of AAAI'18, 2018.

[6] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1-8, 2009.

[7] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Proc. of ICLR'13, Workshop Track Proceedings, 2013.

[8] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 :形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.
 平子潤 名古屋大学情報学部 hirako.jun@g.mbox.nagoya-u.ac.jp  