# 単語の分散表現および音素列の類似性を考慮した 単語アラインメントに基づく教師なし Entity Linking

邊土名朝飛 友松祐太 杉山雅和 戸田隆道 東佑樹 下山 翔
株式会社 AI Shift
\{hentona_asahi, tomomatsu_yuta, sugiyama_masakazu,
toda_takamichi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp

## 概要

本研究では，多様なパターンのユーザ発話やエン トリを考慮した，音声認識誤りに頑健な教師なし Entity Linking 手法を提案する，提案手法は，単語の 分散表現と音素列を利用してアラインメントをとる ことで，意味的類似性と音韻的類似性の両方を考慮 する. 手法の妥当性を検証するため，自社で運用し ている音声対話システムのデータを利用し，テキス 卜間類似度を測る複数の手法との間で比較実験を 行った. 実験の結果，提案手法は従来手法よりも高 い性能を示し, 多様なパターンのユーザ発話やエン トリを考慮できることがわかった.

## 1 はじめに

Entity Linking とは，テキスト中に含まれる Entity を認識し，知識べース上のエントリと紐付ける夕 スクである。 タスク指向型の音声対話システムに おいては，前段で自動音声認識（Automatic Speech Recognition; ASR）システムを用いてユーザ発話を テキスト化し, 後段の言語理解 (Natural Language Understanding; NLU）モジュールで Entity Linking を 行う構成がとられていることが多い.

図 1 音声対話システムにおける Entity Linking

しかし，近年の汎用 ASR システムの認識性能は 非常に高い性能を有しているものの，依然としてド メイン固有の単語は誤認識しやすいという問題があ る. ドメインごとに音声認識モデルを構築すること で認識誤りを低減することは可能であるが [1], ド メインごとに十分な量の学習データを用意してモデ
ルを学習するためには多大なコストがかかる。この 問題に加えて，環境音などのノイズや音質劣化，イ ントネーションの差異などの要因により認識性能は さらに低下する。また，ユーザ発話やエントリには 多様な表記方式や言い間違いのパターンが存在する ため，より Entity Linking を難しいものにしている (表 1 参照).

 \\

本研究では，多様なパターンのユーザ発話やエン トリを考慮した，音声認識誤りに頑健な教師なし Entity Linking 手法を提案する. 提案手法は，単語分散表現で意味的類似度を，単語音素列で音韻的類似度を考慮してアラインメントをとり，ユーザ発話と各エントリ間の類似度を計算することで Entity Linking を実現する ${ }^{1)}$. 実験では，自社で運用してい る音声対話システムのログデータを使用し，アブ レーション実験およびテキスト間類似度を測る複数 の教師なし手法との間で比較実験を行うことで提案手法の有効性を示す.

1）本来であれば Entity Linking の前にテキスト中から Entity を抽出する必要があるが，実験に用いた対話データではほ とんどのユーザが Entity のみ発話していたため，直接 Entity Linkingを行っている.

## 2 関連研究

Raghuvanshi らは，ASR の認識結果をデータベー ス上の人名と紐付けることを目的とした教師なし手法を提案した [2]. この手法は，テキストと音素の 類似度を利用することで音声認識誤りに頑健な人名検索を行うことができる. 本研究では，Raghuvanshi らと同様に音素情報を用いるとともに，単語分散表現も利用することで意味的類似度も考慮した Entity Linking を行う.

単語ベクトルを利用して 2 つのテキスト間の意味的類似性を計算する主流のアプローチとして, 最適輸送に基づいたアラインメント手法がある. 代表的 な手法としては Word Mover's Distance (WMD)[3] が 挙げられ，その他にも超球面上で最適輸送を行う Word Rotator's Distance (WRD) [4] や, 不均衡最適輸送 (Unbalanced Optimal Transport; UOT) を導入した Lazy Earth Mover's Distance (Lazy-EMD)[5] などが提案され ている. 本研究では, ユーザ発話とエントリ間の類似度を計算するために, 最適輸送に基づいた単語ア ラインメントのアプローチを採用する.

## 3 提案手法

提案手法は，ASR の認識結果のテキストと，知識 ベース上のエントリの 2 つのテキストを入力として 与える. ASRテキストと各エントリとの間で類似度 を計算した後，最も類似度が高かった ASR テキス トとエントリのペアを紐付けることで Entity Linking を行う。

以下，単語数 $n, n^{\prime}$ をそれぞれ持つ 2 つのテキスト (ASRテキスト，エントリ）を $s=\left.\{t_{1}, t_{2}, \cdots, t_{n}\right.\}, s^{\prime}=$ $\left.\{t_{1}^{\prime}, t_{2}^{\prime}, \cdots, t_{n^{\prime}}^{\prime}\right.\}$ と表す. また, 各単語 $t_{i}$ に対応する 単語ベクトルを $w_{i} \in \mathbb{R}^{D}$ と表す.

## 3.1 単語アラインメント

本研究では，単語アラインメントに使用する 最適輸送アルゴリズムとして Unbalanced Optimal Transport (UOT)[6][7] を用いる. UOT は, 文の長さ が大きく異なるテキスト間の類似度を適切に計算で きる [5] ため，正式名称と略称との間の類似度を高 くできると考えられる. UOTを用いたテキスト $s, s^{\prime}$間の距離の計算式を以下に示す。

$
\begin{gathered}
D\left(s, s^{\prime}\right)=\min _{T \in \mathbb{R}_{+}^{n \times n^{\prime}}} \sum_{i, j} T_{i, j} d\left(t_{i}, t_{j}^{\prime}\right)+\operatorname{reg} \cdot \Omega(T) \\
+\operatorname{reg}_{\mathrm{m} 1} \cdot \operatorname{KL}\left(T^{\top} \mathbb{1}_{n}, \mu_{s}\right)+\operatorname{reg} \mathrm{rg}_{\mathrm{m} 2} \cdot \operatorname{KL}\left(T \mathbb{1}_{n^{\prime}}, \mu_{s^{\prime}}\right), \\
\Omega(T)=\sum_{i, j} T_{i, j} \log \left(T_{i, j}\right) .
\end{gathered}
$

ここで, $T_{i, j}$ は $i$ から $j$ への輸送量を,$d\left(t_{i}, t_{j}^{\prime}\right)$ は 2 つの単語 $t_{i}, t_{j}^{\prime}$ 間の輸送コスト表している. また, $\Omega(T)$ は Entropic regularization term, $\operatorname{KL}\left(T^{\top} \mathbb{1}_{n}, \mu_{s}\right)$ は 分布 $T^{\top} \mathbb{1}_{n}, \mu_{s}$ 間の Kullback-Leibler divergence である. reg, reg $_{\mathrm{m} 1}, \mathrm{reg}_{\mathrm{m} 2}$ は各ペナルティ項の影響を調整する ハイパーパラメータである。 $\mu_{s}, \mu_{s^{\prime}}$ はそれぞれ輸送前と輸送後の確率分布を表しており，以下のように 表される。

$
\begin{aligned}
\mu_{s}=\left.\{\left(t_{i}, m_{i}\right)\right.\}_{i=1}^{n}, \mu_{s^{\prime}} & =\left.\{\left(t_{j}^{\prime}, m_{j}^{\prime}\right)\right.\}_{j=1}^{n^{\prime}}, \\
\sum_{i} m_{i} & =1, \sum_{j} m_{j}^{\prime}=1 .
\end{aligned}
$

ここで， $m_{i} \in[0,1]$ は確率質量であり， $\mu_{s}$ は各単語 $t_{i}$ について質量 $m_{i}$ の荷物があることを意味して いる.

## 3.2 単語間の輸送コスト

WMD では単語間の輸送コストとしてユークリッ ド距離が用いられているが，ユークリッド距離には ノルム (単語重要度) と偏角（意味的類似度）が混在している [8]. そのため, 重要度が大きく異なる 単語間では，意味的に近いにもかかわらず，類似度 が不当に低く見積もられてしまう恐れがある。そこ で, 本研究では, 横井らの研究 [8] に従い, 単語べク トル間のコサイン距離を輸送コストの計算に使用す る. さらに，単語の意味的な類似度だけでなく音声 の類似度も考慮するために，単語の音素列間のレー ベンシュタイン距離も導入する. 2 つの単語 $t_{i}, t_{j}^{\prime}$ 間 の輸送コスト $d\left(t_{i}, t_{j}^{\prime}\right)$ を以下のように定義する.

$d\left(t_{i}, t_{j}^{\prime}\right)=\lambda \cdot d_{\cos }\left(w_{i}, w_{j}^{\prime}\right)+(1-\lambda) \cdot d_{\text {edit }}\left(p_{i}, p_{j}^{\prime}\right)$.

ここで, $d_{\mathrm{cos}}\left(w_{i}, w_{j}^{\prime}\right)$ は単語ベクトル $w_{i}, w_{j}^{\prime}$ 間のコサ イン距離, $d_{\text {edit }}\left(p_{i}, p_{j}^{\prime}\right)$ は単語 $t_{i}, t_{j}^{\prime}$ にそれぞれ対応 する音素列 $p_{i}, p_{j}^{\prime}$ の間の正規化レーベンシュタイン 距離である。また， $\lambda \in[0,1]$ は，輸送コスト計算時 に意味的類似度をどの程度考慮するかを決定する八 イパーパラメータである.

## 3.3 単語の重み付け

本研究では，知識ベース内における単語の重要度 を考慮するために，Inverse Document Frequency(IDF) を確率質量に導入する。しかし，通常のIDFを利用 した場合, 音声認識誤りの影響で IDF 辞書内の単語 とマッチせず適切な単語スコアが計算できなくなる 恐れがある。そこで，Soft TFIDF[9]を参考に新たに Phonetic Soft IDF (PS-IDF) を提案する. PS-IDF は音素列の類似度を考慮した IDFであり，IDF 辞書内の 単語と完全一致していない場合でも類似した発音の 単語から IDF スコアを計算する．PS-IDF の定義を 以下に示す。

$
\begin{aligned}
\operatorname{PSIDF}\left(t_{i}\right) & =\frac{1}{\left|\mathscr{D}\left(p_{i}, P^{e}, \theta\right)\right|} \\
& \sum_{p_{j}^{e} \in \mathscr{D}\left(p_{i}, P^{e}, \theta\right)} \operatorname{IDF}\left(p_{j}^{e}\right) \cdot\left(1-d_{\text {edit }}\left(p_{i}, p_{j}^{e}\right)\right)
\end{aligned}
$

ここで,$p_{j}^{e}$ は知識ベース上にあるエントリを構成す る単語 $t_{j}^{e}$ の音素列, $P^{e}$ は知識ベース上にあるエン トリの単語音素列の集合である。また, $\mathscr{D}\left(p_{i}, P^{e}, \theta\right)$ は $P^{e}$ に含まれる単語音素列 $p_{j}^{e}$ のうち, 音素列 $p_{i}$ と の正規化レーベンシュタイン距離が $d_{\mathrm{edit}}\left(p_{i}, p_{j}^{e}\right) \leq \theta$ であるものの集合であり， $\theta$ はしきい値（ハイパー パラメータ) である.

最終的に，2つのテキストの確率分布は以下のよ うに表される。

$\mu_{s}=\left.\{\left(t_{i}, \frac{\operatorname{PSIDF}\left(t_{i}\right)}{\mathrm{Z}}\right)\right.\}_{i=1}^{n}, \mu_{s^{\prime}}=\left.\{\left(t_{j}^{\prime}, \frac{\operatorname{PSIDF}\left(t_{j}^{\prime}\right)}{\mathrm{Z}^{\prime}}\right)\right.\}_{j=1}^{n^{\prime}}$.

ここで， $Z, Z^{\prime}$ は正規化定数である.

## 4 実験と考察

## 4.1 データセット

提案手法を評価するためのデータセットとし て，自社で運用している自動音声対話サービス AI Messenger Voicebot ${ }^{2}$ )の Entity 辞書および発話ログ データを使用した. このデータセットには，飲食系 と医療系の 2 種類のドメインのデータが含まれて いる.

Entity 辞書とは，商品名や店舗名などのエントリ と，そのエントリの同義語を人手で登録したドメイ


ン固有の知識ベースである. エントリの同義語に は，エントリの略称や表記ゆれなどのフレーズの他 に，音声認識誤りを考慮したフレーズ（e.g. エント リ : Abema Towers，同義語：阿部タワー）も登録さ れている. Entity 辞書に含まれているエントリ数と 同義語数を表 2 に示す.

発話ログデータは，Entity 辞書内のエントリと正 しく紐付けられたユーザ発話を収集したものであ る. データセット内のユーザ発話の件数を表 3 に示 す.なお，発話ログデータには同じ内容の発話デー タが多数含まれているため，実際に収集された発話データの件数を「重複あり」, 重複を除いた発話 データの件数を「重複なし」で示している. 実験で は，重複ありデータを用いて実際の運用時の性能 を，重複なしデータを用いて発話パターンのカバー 率を評価した。

表 2 各 Entity 辞書内のエントリ数と同義語数

表 3 ユーザ発話件数

## 4.2 実験設定

提案手法を評価するにあたり，テキスト間類似度 を測る教師なし手法として，音素列の正規化レーベ ンシュタイン距離, WMD[3], WRD[4], Lazy-EMD[5] を採用した. 本実験では，単語分散表現として chiVe[10] の事前学習済み Magnitude モデル (v1.2 mc30 $)^{3}$ を採用し, 形態素解析器には SudachiPy [11] ${ }^{4)}$ を使用した. SudachiPy の分割モードは A モード （UniDic 短単位相当）とした. テキストから音素列 への変換は pyopenjtalk ${ }^{5)}$ を用いた. PS-IDF のしき い値 $\theta$ は 0.1 に設定した. UOTを使用している手法（提案手法, Lazy-EMD) の Entropic regularization term の係数 reg は, Lazy-EMD の実験に倣い 0.009 に設定した [5]. また, Kullback-Leibler divergence に かかる 2 つの係数 $\mathrm{reg}_{\mathrm{m} 1}, \mathrm{reg}_{\mathrm{m} 2}$ は，略称を発話する ユーザ側のテキストの重要度を高くするために

3) https://github.com/WorksApplications/chive

4) https://github.com/WorksApplications/SudachiPy

5) https://github.com/r9y9/pyopenjtalk
$\operatorname{reg}_{\mathrm{m} 1}=1.0, \mathrm{reg}_{\mathrm{m} 2}=0.5$ に設定した.

## 4.3 Entity 辞書内実験

提案手法が音声認識誤りフレーズを含む多様な 同義語に対処できるのかを評価するために， Entity 辞書に登録された同義語を入力として与え，その同義語に対応するエントリを紐付ける Entity 辞書内実験を行った. このとき，紐付け対象であるエントリ セットには，Entity 辞書内にある同義語は含まれな いものとする. 評価結果を表 4 に示す. 提案手法 は, 飲食系, 医療系の両方のドメインで比較手法よ りも高い性能を示した。

次に，提案手法の各構成要素の効果を確かめるた めにアブレーション実験を行った。実験結果を表 5 に示す. ここで, -Word vector は, 提案手法から単語分散表現の要素を抜いたもの，すなわち輸送コス 卜計算時に音素列の類似度のみを考慮したモデルで ある。一方，-Phone は単語分散表現の類似度のみを 考慮したモデルである。-PS-IDF では，単語の重み 付けに PS-IDF を利用せず，WMD と同様に一様な 重みを付与した。 -UOT は，最適輸送アルゴリズム にUOTを利用せず，WMD と同様に Earth Mover's Distance(EMD)を用いた。

結果より，飲食系ドメインにおいては提案手法が 最も高い性能を示していることが分かる。一方，医療系ドメインでは PS-IDFを利用しないモデルが最 も性能が高くなった. 医療系ドメインの Entity 辞書の同義語には，飲食系ドメインと比較して音声認識誤りフレーズが多数登録されていたことから， PS-IDF が音声認識誤りにうまく対処できず，適切な 単語の重みが計算できなかったことが要因と考えら れる。

表 4 Entity 辞書内実験の結果（Accuracy [\%]）.

## 4.4 発話ログデータを用いた実験

次に，実際のユーザ発話が与えられた際の Entity Linking の性能を評価した。評価結果を表 6 , 表 7 に 示す. 提案手法は，飲食系ドメインにおいては重複 あり，重複なしのデータの両方で最も高い性能を示表 5 アブレーション実験結果（Accuracy[\%]）

した. 一方，医療系ドメインにおいては，重複あり のデータではレーベンシュタイン距離が最も高い性能を示した. 提案手法の性能が低くなった原因とし て，ユーザが頻繁に言及していた特定のエントリに ついて適切に紐付けできなかったことが挙げられ る. ただし，提案手法は重複なしのデータでは最も 高い性能を示しているため，比較手法よりもエント リや発話の多様なパターンをカバーしていると考え られる.

表 6 発話ログデータを用いた評価実験の結果（重複あ り, Accuracy $[\%])$

表 7 発話ログデータを用いた評価実験の結果（重複な し, Accuracy $[\%])$

## 5 まとめ

本研究では，意味的類似性と音韻的類似性の両方 を考慮した単語アラインメントに基づく教師なし Entity Linking 手法を提案した. 比較実験の結果，提案手法は飲食系ドメインでは最も高い性能を示し た.一方，医療系ドメインのユーザ発話データを用 いた実験では，提案手法がレーベンシュタイン距離 よりも性能が低いという結果が示されたが，多様な 発話パターンのカバー率という面では比較手法より も優れていることが示唆された. 今後は，より効果的な音韻的特徵を組み込んだ Entity Linking 手法の 検討を進めていきたい。

## 参考文献

[1] Yong Zhao, Jinyu Li, Shixiong Zhang, Liping Chen, and Yifan Gong. Domain and speaker adaptation for cortana speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5984-5988, 2018.

[2] Arushi Raghuvanshi, Vijay Ramakrishnan, Varsha Embar, Lucien Carroll, and Karthik Raghunathan. Entity resolution for noisy ASR transcripts. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 61-66, 2019.

[3] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Weinberger. From word embeddings to document distances. In Proceedings of the 32nd International Conference on International Conference on Machine Learning, Vol. 37, p. 957-966, 2015

[4] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960, 2020.

[5] Yimeng Chen, Yanyan Lan, Ruinbin Xiong, Liang Pang, Zhiming Ma, and Xueqi Cheng. Evaluating natural language generation via unbalanced optimal transport. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 37303736, 2020.

[6] Lénaïc Chizat, Gabriel Peyré, Bernhard Schmitzer, and François-Xavier Vialard. Scaling algorithms for unbalanced optimal transport problems. Mathematics of Computation, Vol. 87, No. 314, pp. 2563-2609, February 2018.

[7] Charlie Frogner, Chiyuan Zhang, Hossein Mobahi, Mauricio Araya-Polo, and Tomaso Poggio. Learning with a wasserstein loss. In Proceedings of the 28th International Conference on Neural Information Processing Systems, Vol. 2, p. 2053-2061, 2015.

[8] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960, 2020.

[9] William W. Cohen, Pradeep Ravikumar, and Stephen E. Fienberg. A comparison of string distance metrics for name-matching tasks. In Proceedings of the 2003 International Conference on Information Integration on the Web, p. 73-78, 2003.

[10] 真鍋陽俊, 岡照晃, 海川祥毅,一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019), pp. NLP2019-P8-5, 2019.

[11] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.
 邊土名朝飛 友松祐太 杉山雅和 戸田隆道 東佑樹 下山 翔 株式会社 AI Shift \{hentona_asahi, tomomatsu_yuta, sugiyama_masakazu, toda_takamichi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp  