# 分散表現を用いたブランド名の語義曖昧性解消と 小規模学習データへの応用

尾城 奈緒子 ${ }^{1}$ 竹村 彰浩 $^{1}$ 白石 空 ${ }^{1}$
${ }^{1}$ 株式会社インテージ
\{oshiro. 44969, takemura-a, shiraishi-s\}@intage.com

## 概要

従来の語義曖昧性解消で用いられてきたデータセ ットは、周辺単語が豊富なため辞書などの外部知識 を用いた同形異義語の語義の特定が容易であること が多い。一方で、SNS で投稿される短文では、特定のブランド名であるか、判断がつかないことがあ る。このようなブランド名の語義曖昧性解消におい て、教師あり手法を適用する際の学習データの作成 にかかる人的コストは軽視できない。本項では特定 ブランドの外部知識と、その分散表現によって素性 を構成し、小規模学習データにおいても高い精度で 語義曖昧性解消を可能にする手法を紹介する。ブラ ンド名を含む Twitter 投稿文を取得、データセット を整備し、提案手法の有効性を検証した。

## 1 はじめに

同形異義語とは、同じ表記で異なる意味を持つ語 であり、このような多義性を持つ語の語義を特定す るタスクを語義曖昧性解消と呼ぶ。SNS を用いた マーケティングでは、投稿文を分析する際にブラン ド名をキーワードに検索するが、対象のブランド名以外の同形異義語が含まれてしまう。例文(1)、(2) はマックで検索した場合抽出できる文である。エス ティーローダー社メイクアップブランド「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor$ を対象とした場合、(1)はコスメという語が含まれ るため対象であるが、(2)はポテトという語からマ クドナルドの略称と推察できるため対象外と判断で きる。単純な検索では、対象外の投稿文も抽出して しまうため、語義曖昧性解消が必要となる。

(1) 対象. マックのコスメ欲しい

（2）対象外．マックのポテト食べたい

語義曖昧性解消に関する先行研究は、語義の推定 に周辺単語を用いる手法 $[1,2]$ 、分散表現を用いる 手法 $[2,3]$ 、知識ベースに基づく手法 $[2,4]$ が知られ ている。先行研究で用いられているデータセットで
の語義の特定は、辞書を確認することで人が見て明確に推定できるものが多い。一方でブランド名のよ うに情報の改廃が頻繁に行われ、辞書への掲載が間 に合わない、知識べースの更新が追いつかない場合、辞書や WordNet などの知識ベースを用いるこ とは困難である。また、SNS 投稿で多く見られる 短文では、様々な情報が省略されるため周辺単語が 少なく、テキストだけでは対象のブランド名である か判断がつかないことがある。

教師あり手法で学習したモデルが高い精度で語義曖昧性解消が可能であることは先行研究で示されて いるが、学習データの作成にかかる人的コストは軽視できない。そのため、なるべく小規模の学習デー タで、対象の語義を特定するのが難しいブランド名 の語義曖昧性解消を行う手法が求められている。本項では、小規模学習データにおいて対象のブランド 名を判別する手法を提案し、SNS 投稿文に適用し た結果について述べる。

## 2 関連研究

語義曖昧性解消では、教師あり手法においてさま ざまな素性が提案されている。Raganato ら(2017) は、乱立した語義曖昧性解消において、統一の評価 フレームを作成し、既存の教師あり手法と知識ベー スの手法の比較実験を実施した結果、教師あり学習 の中でも分散表現を用いた手法が優れていることを 示した[2]。教師あり手法で、対象単語の周辺単語 に加え単語の分散表現を用いて精度を上げた研究と して、菅原ら(2015)の word2vec の Skip-gram モデル を用いたもの[3]、曹(2019)の BERT Multi-head attention を用いたもの[5]が挙げられる。

菅原ら(2015)では、一般的に教師あり手法を用い た語義曖昧性解消では、モデルにサポートベクトル マシン $(\mathrm{SVM})$ が用いられることが多いことにも言及 している。本項では、素性が学習に与える影響を検証するため、より簡易なロジスティック回帰(LR)を

図 1 提案手法の概要

用いた。松田・津田(2019)は、企業名の語義曖昧性解消を目的として、データセットと外部知識に日経新聞の記事、有価証券報告書をそれぞれ用いて、tfidf 値が一定以上の名詞と単語分散表現を素性とし た教師あり手法の精度が高かったことを示した [6]。本研究では、松田・津田(2019)の教師あり手法 を比較手法として参照した。

## 3 手法

本項では、企業が名付けた商品名称、ブランド名称、サービス名称を総じてブランド名として定義す る。提案手法は Raganato ら(2017)にならい、分散表現を素性に組み込んで教師あり学習を行うアプロー チを採用した。また、辞書未登録単語の形態素解析 の結果が信頼できないことに対する対応策として、 ブランドに関連すると考えられる単語と短文を外部知識として、それらの分散表現ベクトルを計算し、素性として用いた。

## 3.1 提案手法

図 1 に提案手法の概要を示す。本手法において用 いる素性は 3 種類で構成される。1) ブランドベク トル : ブランド名そのものに関する単語の分散表現、2) キーワードベクトル: ブランドや当該カテ ゴリにおける関連すると考えられた単語の分散表現、3) トピックベクトル：分類に関連すると考え られた記事のタイトルの分散表現、である。 まず、分類対象の投稿文に対し、形態素解析を行
い、名詞のみを抽出する。そして、抽出した名詞の 平均ベクトル、三つの素性から生成されたベクトル と投稿文から生成したベクトルのコサイン類似度を 最終的な素性とする。

SNS 投稿では情報が省略されるため、例えばメ イクアップブランドの上位概念である化粧品カテゴ リに関する直接的な情報は投稿文中に含まれないこ とが多い。そこで、ブランドが含まれる上位概念の 単語をいくつか定義し、それらと共起する単語を用 いて上位概念の特徵ベクトルを構成することとす る。この特徴ベクトルを用いることで、上位概念に 関連するキーワードを網羅的に指定することなく、投稿文と上位概念の類似度が計算できる。同様に、 ブランドコンセプト、ブランド名からイメージされ る情報、広告のキャッチコピーから構成されるトピ ックの特徴ベクトルとの類似度を含めることで、よ り効果的に曖昧性解消ができると考えられる。

分散表現には日本語学習済み fastText $^{1}$ [ $[7]$ を用い た。形態素解析には MeCab[8]を利用し、辞書には mecab-ipadic-NEologd[9]を用いた。

## 3.2 比較手法

本項では、1) 名詞のみの形態素(以下、形態素)、 2) 日本語学習済み $\mathrm{BERT}^{2}$ )を用いたブランド名の Embedding(以下、BERT)、3) 名詞の tf-idf 值と外部情報として有価証券報告書を用いた fastText の分散表現の組み合わせ(以下、有報)、の三つの素性を比較手法とした。
1) https://fasttext.cc/docs/en/crawl-vectors.html
2) https://github.com/cl-tohoku/bert-japanese
表 1 素性として用いたキーワード・記事の一部

 &  \\

## 4 実験

## 4.1 データセット

検証では三つのブランド名を対象とした：1) エ スティローダー社メイクアップブランド

$\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor 、$ 2) カネボウ化粧品メイクアップブラ ンド「KATE」、3) 日本コカ・コーラ社コーヒーブ ランドの「ジョージア」である。それぞれ対象外の 語義として 1) マクドナルドの略称やアップル社の コンピュータブランド、2) 人名や服飾ブランド、

3) 国名や州名、が挙げられる。

ブランド名を含む、2020 年 4 月 2022 年 3 月の

Twitter 投稿文（引用・返信・リツイート）を 1 ブ ランドにつき 2 万件、合計 6 万件抽出し、投稿ごと に、それが対象のブランド名を含むかアノテーショ ンを実施した。まず、投稿文から容易に類推できる 範囲で対象のブランド名であるかどうかの判断を行 い、投稿文のみでは判断が難しいと考えられた場合 は、当該ユーザの前後の投稿やプロフィール欄とい った、SNS 特有の周辺情報を見て判断を行った。周辺情報確認後も判断がつかなかつた場合は対象外 とした。それぞれの対象ブランドについて、提案手法で使用するキーワード・記事を公式ホームペー ジ、公式 SNS、Wikipedia から取得した。表 1 に例 として検討した素性のキーワード・トピックの一例 を示す。

## 4.2 実験設定

小規模学習データでの提案手法の効果を測るた め、提案手法 4 パターンと比較手法 3 種の合計 7 種 すべての素性を用いて、学習データ 100 件をランダ 厶抽出し、対象・対象外の 2 值判別を実施した。ま た、学習データ件数増加による精度への影響を確認 するため、学習データ数を 100 件から 3,000 件まで 100 件刻みで増加させていった際の精度の比較を実表 2 素性とモデル精度(学習データ 100 件) $\mathrm{Br}$. ブランドベクトル、Ke.:キーワードベクトル、To.: ト

ピックベクトル、 $\mathrm{M}: \mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 、 \mathrm{~K}: \mathrm{KATE} 、 \mathrm{G}:$ ジョージア

施した。2 值判別を実施するにあたり、対象が含ま れる割合が低いもの $(\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}: 6 \%)$ 、中程度のもの (KATE:26\%)、高いもの(ジョージア:54\%)をデータ セットとして用意した。語義曖昧性解消で用いられ るデータセットである SemEval-2010 Japanese WSD Taskデータセット[10]では、学習データとして単語 あたり例文が 50 文用意されるのに対し、 100 件あ たりの出現数では「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」(6$ 件 $)$ と「KATE」(26 件)は少ない。また、用意したデータセットは不均衡のものが含まれるため、評価にはF1-score を用い た。

## 4.3 実験結果

## 4.3.1 提案手法の有効性検証

表 2 に学習データ 100 件での各モデルの F1-score を示す。まず提案手法と比較手法の比較より、ブラ ンドベクトルのみの素性でどの比較手法よりも高い 精度を得ることができた。また、提案手法の素性の 比較より、ブランドベクトルにキーワードベクト ル、トピックベクトルのどちらを追加しても精度が 向上しているため、ブランドカテゴリとトピックの 情報が有用な特徴であるといえる。二つのベクトル を追加した提案手法は、不均衡データである

$\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor 、 「 \mathrm{KATE} 」 に$ 関しては精度が向上した が、「ジョージア」に関してはトピックベクトルの みの情報を用いた方が、精度が高いことがわかつ た。小規模学習データでも偏りの少ない場合は、ブ ランドベクトルよりもトピックベクトルの方が有効 な情報であるといえる。

図 $2\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor$ 学習データ件数と精度の推移

## 4.3.2 学習データ件数増加による精度検証

$「 \mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ の学習データ件数増加による精度を図 2 に示す。他二つのブランドは付録に示した。図 2 より、比較手法は学習データ 500 件まで精度が急激 に上がっているが、提案手法は学習データ 100 件か ら精度の上昇は緩やかである。また、この結果は不均衡データである「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ と「KATE」のときに 顕著であったことからも、提案手法は不均衡かつ小規模学習データに対して有効な素性であるといえ る。

提案手法と形態素を比較すると、学習データ 3,000 件まではどのブランドでも提案手法の精度が 高かった。小規模学習データでは出現する単語の豊富さの影響をより強く受けていると考えられる。有報を素性とした場合、形態素に比べて精度向上が見込めるが、提案手法の方が多くのケースで精度が高 かった。ブランド名の語義特定においては、有価証券報告書の情報よりも、ブランドカテゴリやイメー ジワードから類似度を計算した素性のほうが有効で あると考えられる。素性に BERT を用いた結果 は、不均衡かつ小規模学習データの場合、どの手法 よりも大きく劣ったが、均衡なデータで学習データ 件数を増加させると、提案手法よりも精度が高くな った(付録図 3 : 「ジョージア」)。

## 5 考察

4.3.1 項の実験結果より、学習データが 100 件程度の小規模データでは、提案手法の有効性が確認で きた。小規模学習データでも判別が上手くいく要因 として、SNS 投稿文は、事業内容よりもブランド
カテゴリやコンセプト・イメージに関連する投稿が 多いためと考えられる。提案手法は、特に対象出現率が低い「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ データに対して有効であったた め、ブランド・トピックのブランド名と類似したカ テゴリやイメージは、学習データに情報が足りない 場合に補える素性であるといえる。

ブランド名の語義曖昧性について本項で検証した 範囲では、ブランドコンセプト・イメージ・想定シ ーンといった素性の有効性も確認できた。本項で は、外部情報としてブランドに関連するキーワー ド・トピックを含めることで、精度の向上が見込め ることは検証できたが、キーワード・トピックは主観で選定しており、客観的に統一した条件や検証を 行っていない。

## 6 まとめ

本項では、語義曖昧性の解消の手法を用いて、 SNS 投稿文のようにラベルが明確でない小規模学習データに対して対象のブランド名を判別するモデ ルを提案した。提案手法は、特に学習データが少な い場合に、既存手法より高い精度を出すことが可能 である。特にブランド名の語義を推定する上で有効 であったのは、外部情報として追加したブランドカ テゴリ、コンセプトやイメージを反映するトピック であることを示した。外部情報として指定するキー ワードの客観的な条件を指定し、既存研究で用いら れているモデルを用いた精度検証を今後の課題とす る。

## 謝辞

本研究は株式会社インテージホールディングス グループ R\&D センターの助成を受けている。デー タセット作成にご協力くださった株式会社インテー ジの高崎綾子さん、岩元くるみさんに深く感謝申し 上げます。

## 参考文献

[1] David Yarowsky. Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. In ACL, pp. 189-196, 1995.

[2] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word Sense Disambiguation: A

Unified Evaluation Framework and Empirical Comparison. In EACL, Vol1, pp. 99-110, 2017.

[3] 菅原拓夢, 笹野遼平, 高村大也, 奥村学, 単語の 分散表現を用いた語義曖昧性解消, 言語処理学会第

21 回年次大会発表論文集, pp648-651, 2015.

[4] 松田耕史, 高村大也, 奥村学. 知識ベースに基づ いた語義曖昧性解消における教師データの活用. 第 26 回人工知能学会全国大会論文集，2012

[5]曹鋭, 田中裕隆, 白静, 馬ブン, 新納浩幸. BERT を利用した教師あり学習による語義曖昧性解消. 言語資源活用ワークショップ発表論文集，vol. 4, pp.273-279, 2019.

[6] 松田裕之, 津田和彦. 有価証券報告書を活用し た企業名の語義曖昧性解消の一考察. 第 33 回人工知能学会全国大会論文集, 2019.

[7] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. arXiv preprint arXiv:1607.01759, 2016.

[8] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis, In EMNLP, pp.230-237, 2004. [9] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書きシ ステム NEologd の運用--文書分類を例にして. 情報処理学会自然言語処理研究会研究報告. Vol. NL-229, no. 15, pp.1-14, 2016.

[10] Manabu Okumura, Kiyoaki Shirai., Kanako Komiya., and Hikaru Yokono. SemEval-2010 task: Japanese WSD. In: SemEval, pp. 69-74, 2010

## A 付録
4. 3.2 項の「KATE」、「ジョージア」における学習データ件数が増加した際の精度の推移を図 3、4 に示 す。

学習データ増加による精度の推移

図 3 「KATE」の学習データ件数と精度の推移

学習データ増加による精度の推移

図 4 「ジョージア」の学習データ件数と精度の推移
 尾城 奈緒子 ${ }^{1}$ 竹村 彰浩 $^{1}$ 白石 空 ${ }^{1}$ ${ }^{1}$ 株式会社インテージ \{oshiro. 44969, takemura-a, shiraishi-s\}@intage.com  