# 日本語 T5を用いた Entity 辞書の メンション候補自動獲得手法の提案と評価

上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町 守 1
1 東京都立大学 2 株式会社 AI Shift
ueda-naoya@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp
komachi@tmu.ac.jp

## 概要

本稿では Entity 辞書エントリのメンション候補を 自動獲得する手法を提案する. タスク指向型の音声対話システムの Entity Linking は， Entity 辞書を知識 ベースとして用いる. Entity 辞書はユーザの発話パ ターンに対応するために，表記摇れや通称，略称な どメンション候補登録が必要となるが，構築にコス トがかかる問題がある。提案手法は，日本語 $\mathrm{T} 5$ を Wikipedia から獲得した見出し語とその同義語対で ファインチューニングし，メンション候補生成モデ ルを構築した. 実験の結果，メンション候補を自動獲得した Entity 辞書を用いると，人手によるメ ンション候補を登録した Entity 辞書と同等の Entity Linking 性能を得られるとわかった。

## 1 はじめに

本稿が扱うタスク指向型の音声対話システムは ユーザ発話に対して応答を生成する. 適切な応答生成の実現には，ユーザ発話に含まれる商品名や 店舗名などの Entity を正確に認識する必要がある. Entityを正確に認識する手法として，テキスト中に 含まれる Entityを知識ベース上に存在するエントリ と紐づける Entity Linking がある. 実際の処理の流 れは，入力されたユーザ発話を自動音声認識シス テムによりテキスト化する。テキストに含まれる Entityを Entity Linking システムを通して，知識べー スにある適切なエントリに紐づける（図1を参照）.

知識ベースには Entity 辞書を用いる. Entity 辞書 は，エントリとそのメンション候補が登録された辞書であり，ユーザの多様な発話パターンに対応する ために，表記摇れや通称，略称などの様々なフレー ズがメンション候補として登録される。しかしなが

図 1 : 想定する音声対話システムのフローチャート

ら，Entity 辞書は Entity Linking を行いたい各ドメイ ンに対して人手で構築する必要があるため，メン ション候補の登録には多大なコストがかかるという 問題がある.

同義語対を自動獲得する手法に関しては，これ まで様々な研究が行われてきた $[1,2,3]$. しかしな がら，タスク指向型の音声対話システムにおける Entity Linking で用いられる Entity 辞書では，ユーザ の多様な発話パターンに対応するために，表記摇れ や通称，略称などの様々なフレーズがメンション候補として必要である。 そのようなメンション候補は 既存手法では獲得することは対象としていない. ま た前述の手法 $[1,2,3]$ では取得したいエントリに関連するドメインにおける大量のコーパスが必要とな る. タスク指向型の音声対話システムの場合，対象 となるドメインのコーパスが少量しか存在しない 場合もあり，メンション候補を獲得できないなどと いった問題がある。

そこで本研究では, Entity 辞書におけるエントリ のメンション候補を自動獲得する手法を提案する。提案手法は, Wikipedia から獲得した見出し語とそ の同義語対を T5 [4] で学習することにより，メン ション候補生成モデルを構築する，入力されたエン トリに対して出力されたメンション候補集合を用い ることで, Entity 辞書のエントリに対するメンショ ン候補を登録した. 実験では，福井県の道路交通情報に関するシステム主導型の対話ログデータと教師 なし Entity Linking システム [5] を使用する. 提案手法でメンション候補を自動獲得した Entity 辞書と人手によるメンション候補登録が行われた Entity 辞書 で精度を比較し，提案手法の有効性を示した。

## 2 関連研究

入力単語に対する同義語獲得は，これまで様々な 研究が行われてきた. 大野ら [6] や Tam ら [7], 柏岡 ら [8] は Wikipedia のエントリーリダイレクトを用い た同義語の獲得を行っている. これらの研究では， Wikipedia のエントリ名とリダイレクト先の見出し 語が同義関係にあることに着目し, 同義語対として 獲得している. しかし, この手法では Wikipedia に 存在しないエントリの同義語は獲得できない問題が ある. 提案手法では獲得した同義語対で言語モデル をファインチューニングし, Wikipedia に存在しな い単語に対してもメンション候補を生成できるモデ ルを構築する。

Transformer [9] 系統の言語モデルを用いて，同義語獲得を行った研究がある. Shen ら [1] は Encoder モデルである BERT [10]を用いることで, Entity と その同義語の集合に対して，新たな同義語を獲得す る手法を提案している. Transformer 系統の言語モデ ルを用いることで同義語獲得を行うといった点では 本研究と同じだが，Encoder-Decoder モデルでメン ション候補を生成した点と Entity に対する同義語の 集合があらかじめ存在しないといった点で異なる.

伴ら [2] は Word2Vec [11] を用いた同義語辞書自動構築手法を提案している. 提案手法は, 抽出対象 である要求仕様書を用いて学習した Word2Vec モデ ルを用いて, 要求仕様書から同義語候補を獲得する ことで同義語辞書を自動構築している. また，酒井 ら [3] は名詞間類似度を考慮することにより原型語 に対する略語を獲得する手法を提案している。これ らの手法では，特定のエントリに対する同義語を獲得するために，大量のドメインデータが必要とな表 1: Wikipedia から獲得した 見出し語とその同義語対の例

る。一方，本研究ではメンション候補を獲得したい エントリに関連する大量のドメインデータが存在し ないという設定の下, Entity 辞書のメンション候補 の自動登録に取り組む.

## 3 手法

本研究では，先行研究 $[6,7,8]$ の手法で獲得され た Wikipedia の見出し語とその同義語対は, 誤表記 や表記ゆれなど広義での同義語が含まれていること に着目した。そのデータを用いて Encoder-Decoder モデルである T5 [4] をファインチューニングした. ファインチューニングすることで，モデルによる誤表記や表記摇れのパターンを踏まえたメンション候補の生成を期待する。

## 3.1 Wikipedia の見出し語と同義語対の 獲得

Wikipedia の見出し語とその同義語対は，先行研究 $[6,7,8]$ と同様の手法で獲得した. 日本語 Wikipedia のダンプデータ 1) としては 2022 年 4 月 25 日時点のもの使用した. 獲得した同義語対にはタイ プミスなどの再現性が低い誤りが存在した. そのた め，各見出し語に対して Wikipedia 全体で 1 回しか 出現しなかった同義語対は, 再現性のないメンショ ン候補として取り除いた. 本研究で獲得した見出し 語とその同義語対の例を表 1 に表す.

## 3.2 メンション候補生成モデル

本研究では，入力されるエントリに対してメン ション候補を自動生成するメンション候補生成モ デルを構築した. Wikipedia の見出し語を入力とし， その同義語対を出力する形式で日本語 $\mathrm{T} 5$ モデルを ファインチューニングすることにより構築する。

出力では，一つのエントリに対して複数のメン

表 2: Wikipedia データセットにおける エントリ数と同義語対の数

ション候補を獲得するため，サンプリングによる 生成を行った。これにより，多様なメンション候補の獲得ができる. サンプリング手法としては， Temperature サンプリングや Top-K サンプリング, Top-p サンプリング [12] が存在する. 本研究では, Temperature サンプリングを用いて，メンション候補 の生成を行う2).

## 4 実験

## 4.1 データ

本研究では，3.1 の手法で構築した Wikipedia の 見出し語とその同義語対のデータセットを用いた. データセットは訓練データと評価データに分割し た. データセットに含まれるエントリ数と同義語対 の数を表 2 に示す. Entity Linking を行う対象として は，福井県の道路交通情報に関するシステム主導型の対話ログデータを用いた [5]. 対話ログデータ は，紐づけ対象となる Entityが正解ラベルとして与 えられる。データセットに含まれるユーザ発話数 は 2,225 件，紐付け対象となる Entity 数は 214 件で ある.

## 4.2 実験設定

チューニングした. ファインチューニングには， Huggingface の公開している Transformers ${ }^{4)}$ のスクリ プトを用いた。 パラメータは学習率を 0.001 ，バッ チサイズを 16 ，エポック数を 10 ，最大系列長を 128 と設定し，10エポック目のモデルを使用した. 全て の入力や出力は SentencePiece [13] を用いてサブワー ド分割を行った。サブワードの語彙サイズは 32,000 に設定した。

2）多様な出力を行う理由として，多様な出力から適している ものを選択するような用途も考えられるためである. これ は，人手による辞書作成では，多様なドメインでメンション 候補を作成できるほど知識を持つと限らないからである。

3) https://huggingface.co/megagonlabs/

t5-base-japanese-web

4) https://github.com/huggingface/transformers表 3: Entity 辞書の統計量

メンション候補の生成では，Entity 辞書の各エン トリに対し 50 個のメンション候補を出力させた. メンション候補集合から重複を取り除き，Entity 辞書に追加した. また, Temperature（T）は，0.1１.0 の間で 0.1 ずつ変動させた. シード値による性能変動が大きいため，複数のシード値で実験を行い， その平均値を結果として示す. シード値は 2022, 2032，2042，2052，2062とした.

メンション候補が登録されていない Entity 辞書 (登録なし)，人手によるメンション候補登録を行っ た Entity 辞書 (人手登録)，メンション候補を自動登録した Entity 辞書（自動登録）を用いた際の Entity Linking 性能について比較を行う，それぞれの Entity 辞書に登録される平均メンション候補数と人手登録 されたメンション候補のカバー率を表 3 に示す。

## 4.3 評価手法

内的評価として，Wikipedia から獲得した見出し 語とその同義語対を真とした場合の評価を行った.完全一致を真陽性とみなした Precision，Recall，F1 スコアを算出して評価を行う．外的評価として，各 Entity 辞書を用いた際の Entity Linking 性能で評価を 行った. Entity Linking システムとしては，音声類似度を考慮した教師なし Entity Linking システム [5] を 用いる。評価指標は Precision at 1（P@1）を用いた。

## 4.4 実験結果

各 Entity 辞書を用いた実験結果を表 4 に示す. 実験の結果, 内的評価では Temperature が小さいほど Precision が高くなり，大きいほど Recall が高くなる という結果が得られた。これは，表 6 が示すよう に Temperature が大きいほど多様なメンション候補 を生成したためである。また，外的評価における 結果では， $\mathrm{T}=0.8$ のとき最も性能の平均値が高くな り，P@1で $84.4 \%$ であった. この結果は人手による メンション候補登録した Entity 辞書を用いる場合と
表 4: 実験結果

比較しても， $-0.5 \%$ となっており，本手法によりメ ンション候補登録した Entity 辞書は人手によるメン ション候補登録した Entity 辞書と同等の性能を得ら れるとわかった. 特に $\mathrm{T}=1.0$ のとき, 最も内的評価 における Recall が高かった Entity 辞書を用いた場合 (Best）の Entity Linkingの P@ 1 は 85.8\%となってお り, 人手でメンション候補登録した Entity 辞書の Entity Linking 性能を上回る結果となった。

## 4.5 考察

内的評価と外的評価の相関 内的評価における Recall と外的評価における $\mathrm{P} @ 1$ の相関を調べた.図 2 は各シード值ごとの内的評価における Recall と 外的評価における $\mathrm{P} @ 1$ をプロットした結果である. ピアソンの積率相関係数を計測したところ， 0.868 となり，強い正の相関があることが確認できた. 結果から，内的評価における Recall と外的評価におけ る P@1には相関があり，メンション候補を自動登録した Entity 辞書の良さは内的評価における Recall を評価することで確認できることを示した。

事例分析 表 5 亿提案手法で構築した Entity 辞書 を用いた Entity Linking が登録なしや人手登録した 辞書と比べて改善・悪化した事例数を示す. Entity Linking が改善される事例が多数存在する一方で,悪化している事例も確認される. Appendix の表 7 と 表 8 にメンション候補を自動登録したことにより

図 2: 内的評価と外的評価における相関 （各シード値ごとの性能をプロットしたときの結果）

Entity Linking が改善・悪化した事例を示す. 改善し た事例では “(主 6) 福井四ヶ浦線” のメンション候補として “県道 6 号” が登録される. そのため, “県道 6 号福井 自然が” の入力に対して, 正しい Entity を返したことが確認できる。このように提案手法を 用いることで Entity 辞書に良いメンション候補が登録され, 正しい Entity が出力できる。一方, 悪化し た事例では “(県 109) 南横地芦原線” のメンション候補として “熊本空港線” が誤って登録される. その ため，“えっと空港”の入力に対して，誤った Entity Linking がされたことが確認できる.

このように, 全体における Entity Linking 性能は向上しているが，個別の事例では誤ったメンション候補の登録による Entity Linking の悪化が確認される. そのため, 生成されるメンション候補をフィルタリ ングする手法などを開発することにより，メンショ ン候補が自動登録された Entity 辞書を用いた Entity Linking の性能が改善すると考えられる.

## 5 おわりに

本研究では, Entity 辞書のエントリにおけるメン ション候補を自動的に獲得する手法を提案した. 実験の結果，提案手法でメンション候補を自動獲得し た Entity 辞書を用いる Entity Linking は，人手でメン ション候補登録した Entity 辞書を用いる場合と同等 もしくはそれ以上の性能を得ることができることを 示した. また, Entity 辞書の質は Wikipedia データに 対する Recall を用いることで評価することが可能で あることを示した. 今後は Entity 辞書を改善するた め, 生成されたメンション候補を自動でフィルタリ ングする手法を検討する。

## 参考文献

[1] Jiaming Shen, Wenda Qiu, Jingbo Shang, Michelle Vanni, Xiang Ren, and Jiawei Han. SynSetExpan: An iterative framework for joint entity set expansion and synonym discovery. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8292-8307, Online, November 2020. Association for Computational Linguistics.

[2] 伴凌太, 高橋宏季, 位野木万里. word2vec を用いた同義語辞書自動作成手法の提案と適用評価. 情報処理学会第 81 回全国大会, pp. 265-266, 2019.

[3] 酒井浩之, 増山繁. 略語とその原型語との対応関係の コーパスからの自動獲得手法の改良. 自然言語処理, Vol. 12, No. 5, pp. 207-231, 2005.

[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[5] 邊土名朝飛, 尸田隆道, 友松祐太, 杉山雅和, 東佑樹,下山翔. ユーザ発話と Entity の音声類似度を考慮し た Entity Linking 手法の検討. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 4Yin255-4Yin255, 2022.

[6] 大野潤一, 柴木優美, 山本和英. Wikipedia のエント リーリダイレクト間を対象にした同義関係抽出. 言語処理学会第 17 回年次大会, pp. 296-299, 2011.

[7] Derek Tam, Nicholas Monath, Ari Kobren, Aaron Traylor, Rajarshi Das, and Andrew McCallum. Optimal transportbased alignment of learned character representations for string similarity. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5907-5917, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 柏岡秀紀. Wikipedia のリダイレクトから得られる 同義語の分析. 言語処理学会第 13 回年次大会, pp. 1094-1096, 2007.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, Vol. abs/1301.3781, , 2013.

[12] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[13] Taku Kudo and John Richardson. SentencePiece: A sim- ple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 改善・悪化した事例数

表 5: 提案手法で構築した Entity 辞書を用いることで Entity Linking が改善・悪化した事例数 （最も内的評価における Recall が高かった Entity 辞書（Best）との比較）

## B 出力例

表 6: 各 Temperature におけるメンション候補生成例

(“(県 142) 松島若葉線”をエントリとして入力したときの出力結果)

 \\

表 7: メンション候補登録により Entity Linking が改善した例

表 8: メンション候補登録により Entity Linking が悪化した例


 上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町 守 1 1 東京都立大学 2 株式会社 AI Shift ueda-naoya@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp \{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp komachi@tmu.ac.jp  