# Low-resource Taxonomy Enrichment with Pretrained Language Models

竹岡 邦紘†

## 1 はじめに

本稿では EMNLP 2021 に採択された筆者の論文 (Takeoka et al. 2021)（以下では原論文と呼ぶ）を紹介する，原論文は，事前学習済み言語モデルを利用することで，小規模な階層的な分類体系を精度高く自動拡張する手法を提案している。

原論文の紹介に入る前に，どのような経緯で執筆するに至ったかについて述べたい．筆者はこの論文執筆以前に表データの列や表全体に対する意味推定を行なう手法に関して研究 (Takeoka et al. 2019) を行なっていた. オープンデータの重要性が騒がれるようになり，その結果様々な機関がデータ公開を進めるようになったものの，それぞれのデータが異なる表記で書かれているなど課題が山積した状態であった。 これを解決するために提案した手法であったものの，さらなる課題が出てきた。知識べースをいかに作るか，いかにメンテナンスし続けるか，という課題だ。上述の手法では列や表に対してつける推定結果のラベルは階層的な構造を持っていることを仮定していたが，そのようなラベル集合を管理すること自体に課題があったため，現実環境に容易に適用できなかった。そこで「いかに人手をかけずに階層的な分類体系を管理するか」という課題に対する解決策を模索した。

階層的な分類体系の管理は知識ベースの管理の一部として取り扱われるテーマであり，この自動化には多くの課題が残っている。筆者はその課題の中でも特に，新しい概念・カテゴリの追加に焦点を絞った。これは頻繁に分類対象が増えるドメイン（例えば小売業）では高い頻度でこの作業が必要になるからだ。加えて，顧客や事業部門の担当者などから，小さな階層構造であっても，精度高く拡張する手法が望まれていることがわかった。そこで，筆者は「小さな階層的な分類体系であっても追加の学習データなしで拡張可能な手法を提案する」という方向に研究を進めた。

調査を進めていく中で，事前学習済み言語モデル（以下，言語モデルと省略する）が汎用的なタスクで大きな性能改善を見せていることを知った．筆者は「もしかしたら階層構造の拡張のために使えるかもしれない」という安易な考えを抱いた。そこで，Petroni et al. (2019)を始めとする論文を確認し，言語モデルが持ちうる情報とそれの引き出し方を学び，このアプロー


チを階層的な分類体系の拡張に応用することを考えた。さらに，一般的には文書から階層関係を抽出するために用いられる文字列パターン (Hearst 1992)を，言語モデルから階層関係を引き出すために使うという方法を編み出した. これらのアイデアが原論文のコアになる.

## 2 問題設定

原論文は，タクソノミーと呼ばれる階層的な分類体系に新しいカテゴリを自動的に追加する問題（Taxonomy Enrichment/Expansion などと呼ばれる）を取り扱う。その背景には，このようなカテゴリ追加は専門家の手によって行なわれており, 非常に大きなコストがかかるという課題がある。この課題を解決するために，原論文では以下のように定義した問題を解く．元の階層的な分類体系を seed taxonomy と追加するカテゴリ名が与えられた下で，追加するカテゴリに対する適切な親カテゴリを seed taxonomy から発見する。特に，原論文が取り扱うのは， seed taxonomy のカテゴリ数が小さい場合に焦点を当てる。 その理由は，階層的な分類体系は 1,000 程度のカテゴリ数のものが実用上多数存在するからだけでなく, 既存手法は数万程度のカテゴリ数を暗黙的に仮定しており有効な手法になっていないためである.

## 3 提案手法

原論文は, 小さな階層的な分類体系であっても精度高く拡張するために, 事前学習済み言語モデルとハーストパターンとを利用した Musubu 1 を提案している。手法の概略を図 1 に示す. Musubu の特徴は，(1) 言語モデルを補助的な情報源として利用し，与えられた階層的な分類体系に不足した情報を補う点と, (2) その言語モデルを効果的に使うためのクエリ生成にハーストパターン (Hearst 1992)を用いる点にある.

提案手法は, 事前学習済み言語モデルを補助的な情報源として利用して, 与えられた階層的な分類体系上でのカテゴリペアに対する上位下位関係を判定するモデルを構築する。言語モデルを補助的な情報源とする理由は，言語モデルが暗黙的に保持している情報に概念間の意味的なつながりが含まれるからだ. Petroni et al. (2019)は, BERT (Devlin et al. 2019)をはじめとする大規模な事前学習済み言語モデルが概念間の関係を内部のパラメータとして暗黙的に獲得していることを示唆している。したがって，小さな分類体系から上位下位関係を学習する際に不足した情報を言語モデルを用いて部分的に補うことができると考えられる。一方で，その言語モデルが獲得している概念間の関係性と分類体系の中にある上位下位カテゴリが持つ関係性との間にはギャップが存在する可能性が高い，そのため，与えられた分類体系の中にある上位
^{1}$ Musubu は与えられた分類体系と新しいカテゴリとを正確に「結ぶ」手法というところから名付けた.
}

(a) Overview

(b) Training

(c) Inference

図 1 Musubuの（a) 全体構成，(b) 学習，(c) 推論の流れ. Musubu はカテゴリペアをハーストパターンを通してクエリに変換し，階層的な関係があるかどうかを判定する.

下位関係を用いて, モデルの学習（微調整）を行なう必要がある.

提案手法は，カテゴリペアをテンプレート文を使って短い文に変換し言語モデルに入力するという方法を採用している。この方法を採用するのは, そのカテゴリ名が文章中の語句として現れることはあってもカテゴリペアとして語句が並んで現れることはなく, 文でない形の入力に対して言語モデルが有効に働くとは考えにくいためである。そこで，原論文ではハーストパターン (Hearst 1992)を利用して言語モデルに入れる自然なクエリをカテゴリぺアから生成する. ハーストパターンは図 1(a) に示すようなフレーズ間の上位下位関係を示す文字列パターンのことで，コーパスから上位下位関係のカテゴリぺアを抽出するために最も利用されるパター ンの一つである。ハーストパターンを利用したクエリによってカテゴリ間の関係性を明示的に言語モデルに問い合わせることができ，モデル全体はその短文が成立するかどうか（つまり，階層上で上位下位関係にあるかどうか）を判定するように学習する.

提案手法は, 図 1(b), (c) に示すように, 学習済み言語モデルを用いた分類の形で学習と推論を行なう，学習時は，階層的な分類体系の中に入っているカテゴリぺアを取り出し，それらの組み合わせとハーストパターンから生成されるクエリを文として，そのカテゴリペアが階層関係にあるかどうかをラベルとして，モデルパラメータを学習する。予測時は, 新しいカテゴリと階層的な分類体系中の全てのカテゴリとのペアについて学習時と同様のクエリ生成を行ない,最大の予測值に対応するカテゴリを新しいカテゴリの親カテゴリとする.

## 4 実験

上記の提案手法を評価するための実験として， SemEval 2015 のデータセット (Bordea et al. 2015) だけでなく，およそ 1,000 前後のカテゴリを含む小売業（Amazon と Walmart）の階層的な分類体系をデータセットを利用した。これは，より現実的で応用場面を意識した環境での性能を確認するためである。また, 比較手法として, Octet (Mao et al. 2020) や TaxoExpan (Shen et al. 2020) などの最新の手法を利用し, 指標は一般的に用いられる推定結果の正しさを測る edge-F1 (E-F1)と, 階層的な距離を考慮した hierarchical-F1 (H-F1)を用いた2.

表 1 に示すように提案手法である Musubu は，上述のデータセットの全てで既存手法を上回る性能を発揮した。ただし，データセットごとの精度には差があり，これはカテゴリ名が短いフレーズか長いフレーズ（複数のフレーズをつないたももの）かなどが影響を与えているものと思われる。この結果より，提案手法が階層的な小さな分類体系の拡張においてドメインを問わず有効であることを確認した。

## 5 おわりに

原論文は，小さな階層的な分類体系を自動拡張する際に有効な手法を提案した。提案した手法は，事前学習済みの大規模な言語モデルを外部情報源として活用し，言語モデルの力を引き出すためにハーストパターンを利用した，実データを使った実験を通して，小さな分類体系で有効に働くことを確認した。

原論文では，大規模な分類体系に対する実験や多言語データでの評価は実施できていないものの，提案手法の性質から既存手法に比べてそのような条件下でも性能や利便性の改善が見达まれる。また, 追加するカテゴリは必ずいずれかの既存カテゴリに紐づくと仮定していたが,

表 1 SemEval と小売業の階層的な分類体系を用いた実験結果. 太字は列中の最も高いスコアを示す.


これは必ずしも成り立たない。したがって，今後は追加するカテゴリに対するフィルタリングや順序による影響など考慮したより実用的な問題設定に取り組む必要がある.

## 参考文献

Bordea, G., Buitelaar, P., Faralli, S., and Navigli, R. (2015). "Semeval-2015 Task 17: Taxonomy Extraction Evaluation (TExEval)." In Proceedings of the 9th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL-HLT, pp. 4171-4186.

Hearst, M. A. (1992). "Automatic Acquisition of Hyponyms from Large Text Corpora." In Proceedings of COLING Volume 2, pp. 539-545.

Mao, Y., Zhao, T., Kan, A., Zhang, C., Dong, X., Faloutsos, C., and Han, J. (2020). "Octet: Online Catalog Taxonomy Enrichment with Self-Supervision." In Proceedings of SIGKDD, pp. 2247-2257.

Petroni, F., Rocktäschel, T., Riedel, S., Lewis, P., Bakhtin, A., Wu, Y., and Miller, A. (2019). "Language Models as Knowledge Bases?" In Proceedings of EMNLP-IJCNLP, pp. 2463-2473.

Shen, J., Shen, Z., Xiong, C., Wang, C., Wang, K., and Han, J. (2020). "TaxoExpan: Selfsupervised Taxonomy Expansion with Position-Enhanced Graph Neural Network." In Proceedings of $W W W$, pp. 486-497.

Takeoka, K., Akimoto, K., and Oyamada, M. (2021). "Low-resource Taxonomy Enrichment with Pretrained Language Models." In Proceedings of EMNLP, pp. 2747-2758.

Takeoka, K., Oyamada, M., Nakadai, S., and Okadome, T. (2019). "Meimei: An Efficient Probabilistic Approach for Semantically Annotating Tables." In Proceedings of AAAI, pp. 281-288.

## 略歴

竹岡邦紘：2016 年関西学院大学理工学部人間システム工学科卒業. 2018 年関西学院大学理工学研究科人間システム工学専攻博士前期課程修了. 2018 年より, 日本電気株式会社データサイエンス研究所研究員. 機械学習, 自然言語処理の研究に従事.