# 単語に対して複数の表現を使用した上位概念の発見

盛野晃平 ${ }^{1}$ Tad Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
k-morino-5m6@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

単語同士の関係性を機械学習を用いて見つけるこ とは自然言語処理の分野で重要なタスクである。そ の中でも本研究では上位概念の発見という，単語を より抽象度の高い単語で表すタスクに取り組む. 先行研究では， 1 つの単語に対して 1 つ表現を使用 して学習を行っていたが提案するモデルでは単語に 対して意味を考慮した複数の表現を用いて学習する ことを提案する. SemEval2018 task9 [5] というコンペ ティションで提供されているデータで学習と評価を 行った.

## 1 はじめに

自然言語の上位概念・下位概念の関係は言語の意味的な関係においてとても重要なものである.ある 単語のより抽象的な意味を表す上位語と, ある単語 をより具体的に説明する下位語の関係である. 本研究で取り組むタスクは上位概念の発見である.この タスクは, 単語が与えられたときに上位概念の候補 の単語の中から, その単語の上位概念としてふさわ しい単語にランキングをつけて出力することが目的 である. 本研究では教師あり学習を使用し, CRIM [4] が提案するモデルをもとに，単語に対して意味を考慮した複数の表現を出力できる Adaptive Skip-gram [3] (AdaGram)を使用して学習および精度の検証を行 う.

## 2 関連研究

上位概念の発見にはパターンベースのアプローチ と分散表現を使用したアプローチがある.

パターンベースのアプローチでは Hearst [6]が提案 した文法のパターンを使用して上位語と下位語の関係を見つけ出す，簡単にできる一方で，計算時間の 問題, 言語依存, 上位語と下位語が同じ文章内で現
れる必要があることによる低い再現率といった問題 が挙げられる。

2つ目の方法として分散表現を用いたアプローチは，教師あり学習または教師なし学習を使用し, 単語の 埋め込み表現を使用して関係性を見つけ出すことを 目標にしている. Adapt [8]は上位概念の発見のため に Skip-gram [9]を用いて単語の埋め込み表現を学習 し, 得られた単語の埋め込み表現をもとにコサイン 類似度を用いて上位概念か否かの判定をする教師な し学習のモデルを提案している。より一般的なのは 教師あり学習のモデルである．教師あり学習では単語の埋め込み表現が入力され, 正解のペアデータを 用いてモデルを学習する. CRIM は教師なし学習と 教師あり学習を共に使うことで精度の向上をした.

[2]のモデルでは教師なし学習で上位語の発見の夕 スクに挑戦している，このモデルではコサイン類似度とコーパスにおける単語の出現の回数を基にした ランキング付けを行うメソッドを基に学習を行って いる.

精度を向上させるための別のアプローチとして, 単語の埋め込み表現に工夫を加えるものが挙げられる。 [1]は BoxE という，エンティティをポイントして埋 め込み，基本的な論理的な性質を特徴づけた超長方形のセットに関係性を埋め込む方法を提案した。

[10]は box embedding を上位概念の発見で使用する モデルである HyperBox を提案した。

## 3 提案手法

## 3.1 前処理

まず，単語の表現のモデルを作成するためにラベ ル付けされていない文章の単語の前処理を行う。全 ての単語の文字を小文字にして，複数の単語で成り 立つ言葉の単語間のスペースをアンダースコアに変換し 1 つの単語として学習を行う. さらに, ノイズ になる単語を取り除く。

## 3.2 単語埋め込み表現のモデル

本研究では, Skip-gram を使用して単語の埋め込み 表現を得ている CRIM と異なり, それぞれの単語に 対して複数の表現を用いる. そのために AdaGram を 使用する.この手法は， 1 つの表現で単語のすべて の意味を考慮することは難しいのではないかという 推測のもと提案され, word similarity のタスクで従来 の Skip-gram に比べて良い精度を示した. AdaGram を用いて学習することで意味を考慮した単語埋め込 み表現を得ることができる。また, AdaGram は自動的に単語の意味の数を学習することができる. それ ぞれの単語は意味ごとの表現に従ってインデックス が付与される.

## 3.3 ペアの選択

それぞれの単語に対して複数の表現を用いるため にはトレーニングのペアの選択を慎重に行う必要が ある. 学習で用いるラベル付けされたデータは, 1 つ の下位語と 1 つ以上の上位語で成り立っている. そ れぞれの単語に対してどの単語の表現を使用するか を決める必要があるので, この選択はコサイン類似度をもとに行う. 下位語 $\mathrm{q}$ が $\mathrm{n}$ 個の意味を, 上位語 $\mathrm{h}_{\mathrm{i}}(\mathrm{i}=1,2, \ldots \mathrm{k})$ が $\mathrm{m}_{\mathrm{i}}$ 個の意味を持っていた場合に，す べての下位語と上位語の意味を考慮した表現同士の コサイン類似度を計算するので，

$
P=n \times \sum_{i=1}^{k} m_{i}
$

$\mathrm{P}$ 個の計算結果を比較し, その中でベストな値を示 したぺアをトレーニングデータとして採用する.こ の時に，コサイン類似度が 0 より大きいペアのみ採用する. Algorithm1 に実際の選択方法を示す.

図 1 に上記の計算を行うことで選択されるぺアの 例を示す. Algorithm1 に従って, それぞれの単語に は事前学習済みの単語埋め込み表現モデルが出力す る意味を考慮した表現の数に従ってインデックスが 付与される. インデックスが付与された単語のぺア を使用して学習を行う. 検証, テスト用のペアは意味を考慮したインデックスが付与されていない.コ サイン類似度を用いれば，これらのペアにもインデ ックスを付与することは可能だが正確性に欠けてし まう. 推論の際に出力されるのは意味のインデック スが付与された単語であるので, 検証とテストを行

う際には，それらのインデックスを取り除く必要が ある。学習済みのモデルは, 単語ごとに上位語とし て予測した単語をスコアとともに出力する.このス コアは上位語としてどれだけふさわしいかを表した ものである. このスコアをもとにランキングを作成 し上位 $\mathrm{n}$ 語の単語を取得し評価を行う. 評価手法に 関しては 4.2 で説明する.

図 1 意味に応じてインデックスが付与されたペア

## 3.4 上位概念発見のモデル

上位概念の関係を見つけるためのモデルは CRIM が提案したモデルをもとに作成する。学習は Projection learning [11]という単語の埋め込み表現の 射影ベクトルを使用した方法で行う. 下位概念の単語の埋め込み表現の射影ベクトルと上位語の候補の 単語の埋め込み表現のベクトルの距離を計算しスコ アを出力する．上位語のランキングを作成するとき には, 出力されたこのスコアが高いものから順に上位語としてふさわしいと判断をした. 活性化関数に は sigmoid 関数を使用し, 損失関数は Binary cross entropy を使用した. Negative sampling を用いて学習 を行うので, 出力されたスコアを正解のデータでは 1 に不正解のデータを 0 に近づけるように学習を行 った。学習の際のロスは正例と負例におけるロスを 合計したものを使用した. 最適化には Adam [7]を使用した. 図 2 にモデルの学習手順を示す.

図 2 トレーニング手順

## 4 実験

## 4.1 データセット

本研究では, SemEval2018 task9 で提供されている 英語のデータセット（1A, 2A, 2B）を用いて実験を 行った. それぞれのデータセットはラベル付けをさ れていないテキストデータと上位語・下位語のぺア のデータで構成されている.2Aのデータは医療の領域, 2B のデータは音楽の領域の単語のペアを持つ. $1 \mathrm{~A}$ のデータが 1 番多く,学習とテストデータは 1,500個あり，2Aと 2B は 500 個ある. それぞれ 1 つ以上 の上位概念・下位概念のぺアを持つ. $1 \mathrm{~A}$ のデータの 検証用のデータ数が 50 個あるのに対して $2 \mathrm{~A}$ と $2 \mathrm{~B}$ の検証用のデータの数は 15 語しかないので学習の 精度に影響を及ぼす可能性がある。単語の埋め込み 表現のモデルはそれぞれのデータセットのテキスト データを基に作成した。

## 4. 2 評価指標

提案するモデルは最大で上位 15 語の予測結果を 3 つの指標を用いて評価した. SemEval 2018 task 9 で使われている評価指標と同じものを使用した。 1 つ目は, Mean Average Precision(MAP)である. MAP を提案するモデルの評価の主要な指標として 用いた. Average Precision は, その順位までの正解率を特定のデータにおいて平均を求めたものであ る.この指標の平均が MAP にあたる.

$
\mathrm{MAP}=\frac{1}{|Q|} \sum_{q \in Q} A P(q)
$

2つ目は, Mean Reciprocal Rank(MRR)である. MRR は最初に現れた正解データの順位の逆数の平均をとったものである.

$
\mathrm{MRR}=\frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\text { rank }_{i}}
$

3 つ目が，P@1である．P@n (n は自然数)は上位 $\mathrm{n}$個における Precision である. HyperBox と精度の比較を行う際には $\mathrm{P} @ 5 を$ 使用した。

## 4. 3 実験手順

まず, 3.1 で説明した前処理を行った. 次に, 単語 をべクトル表現するためのモデル(Emb model)を AdaGram を用いて作成した.このモデルが出力する 単語埋め込み表現の次元は CRIM が用いている単語埋め込み表現の次元に合わせて 300 である. 加えて， Emb model はコーパスで現れる回数が 5 回未満の単語を無視した. さらに，そのモデルにおいて単語が どれくらいの数の意味を持っているかは, AdaGram の論文で採用されている閾値 $10^{-3}$ を用いて定めた。作成された Emb model をもとに 3.3 で説明されてい る手順に従ってトレーニング用の上位概念・下位概念のペアを作成した．学習時に使用する不正解のデ 一夕は, その単語の上位概念の正解データに含まれ ない他のペアの上位語をランダムに取得し使用した.

CRIM のモデルは結果の評価をする際にはデータの 種類に関わらず, $1 \mathrm{~A}$ のデータのみでパラメータのチ ユーニングしたモデルを使用していたので，それに 倣って 1A のデータのみでチューニングしたパラメ 一タを $2 \mathrm{~A} ， 2 \mathrm{~B}$ のデータセットでのトレーニングに も用いた。トレーニング中で最も高い MAP を得る ことができたモデルをテストに用いた。テストでは 先ほど説明した評価指標をもとに CRIM との精度の 比較を行った。

## 5 実験結果

## 5.1 英語のデータにおける実験結果

表 1 に英語のデータにおける実験の結果を示す. CRIM の精度は提案するモデルと公平に評価するた めに, 教師あり学習でパターンを基にしたアプロー チを使用していないものを用いた. CRIMでは Hearst が提案した上位概念・下位概念の関係を見つけるこ とができる文法のパターンを用いて上位語の発見を 行っている. 提案するモデルは CRIM と比べると $2 \mathrm{~A}$ データセットの MAP の結果を除き他の全ての指標 で精度を上回った. 特に, MRR と $\mathrm{P} @ 1$ の指標で大幅に精度を改善することができた。

Algorithm1 で説明をしたコサイン類似度が 0 より大 きいぺアのみ選択する処理を行わないと $1 \mathrm{~A}$ のデー タセットにおいて MAPが 35.96\%, MRRが 18.77\%, P@1が 29.73\%となった.

## 5.2 チューニングを行った際の実験結果

CRIM との結果を比較したが，提案するモデルは 2A, 2B のデータに対してはパラメータのチューニン グを行っていないので，それぞれのデータセットに対してチューニングを行えばより高い結果が得られ ると推測した. 結果の比較の際には，2A と 2B のデ ータセットでCRIM に比べて高い精度を示している HyperBox を使用する. 提案するモデルでは $2 \mathrm{~A}$ に対 してパラメータのチューニングを行ったときには精度の改善が見られたが，2B のデータで行った際に は精度の改善ができなかったので 2B の実験結果に 関しては表 1 と同じ結果を使用する。表 2 に結果の 比較を示す。全ての項目で提案するモデルは HyperBox の精度を上回った. 特に MRR のスコアに 関しては大幅に精度を上回った. 英語のデータでの 実験の際にも同じように MRR の大幅な改善が見ら れた. このことから提案するモデルは，上位語の単語をより高い順位で出力することができたことがわ かった.

表 2 チューニング後の実験結果

## 6 まとめ

本研究では，上位概念の発見のタスクにおいて， 1つの単語に対して意味を考慮した複数の単語の表現を用いることで予測の精度を改善できることを示 した. さらに，モデルを構築するためのトレーニン グペアを選択する方法を説明した。提案するモデル は，意味を考慮した単語の表現を得るために人間が 構築した辞書などを必要としないので，学習用の上位概念・下位概念のぺアがあれば容易に適応するこ とができる.

## 参照文献

1. ABBOUD, Ralph, et al. Boxe: A box embedding model for knowledge base completion. Advances in Neural Information Processing Systems, 2020, 33: 9649-9661.

2. ATZORI, Maurizio; BALLOCCU, Simone. Fullyunsupervised embeddings-based hypernym discovery. Information, 2020, 11.5: 268.

3. BARTUNOV, Sergey, et al. Breaking sticks and ambiguities with adaptive skip-gram. In: artificial intelligence and statistics. PMLR, 2016. p. 130-138.

4. BERNIER-COLBORNE, Gabriel; BARRIERE, Caroline. Crim at semeval-2018 task 9: A hybrid approach to hypernym discovery. Proceedings of the 12 th international workshop on semantic evaluation. 2018. p. 725-731.

5. CAMACHO-COLLADOS, Jose, et al. SemEval2018 task 9: Hypernym discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018); 2018 Jun 5-6; New Orleans, LA. Stroudsburg (PA): ACL; 2018. p. 71224. ACL (Association for Computational Linguistics), 2018.

6. HEARST, Marti A. Automatic acquisition of hyponyms from large text corpora. COLING 1992 Volume 2: The 14th International Conference on Computational Linguistics. 1992.

7. KINGMA, Diederik P.; BA, Jimmy. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

8. MALDONADO, Alfredo; KLUBIČKA, Filip. Adapt at semeval-2018 task 9: Skip-gram word embeddings for unsupervised hypernym discovery in specialised corpora. Proceedings of The 12th International Workshop on Semantic Evaluation. 2018. p. 924-927.

9. MIKOLOV, Tomas, et al. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, 2013, 26.

10. PARMAR, Maulik, et al. HyperBox: A Supervised Approach for Hypernym Discovery using Box
Embeddings. arXiv preprint arXiv:2204.02058, 2022.

11. YAMANE, Josuke, et al. Distributional hypernym generation by jointly learning clusters and projections. Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016. p. 1871-1879.
 盛野晃平 ${ }^{1}$ Tad Gonsalves ${ }^{1}$ ${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域 k-morino-5m6@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp  