# 事前学習済み言語モデルによるエンティティの概念化

坂田将樹 1,2 横井祥 1,2 Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
sakata.masaki.s5@dc. tohoku.ac.jp
benjamin.heinzerling@riken.jp, \{yokoi, kentaro.inui\}@tohoku.ac.jp

## 概要

事前学習済みマスク言語モデルは，事実知識に関 する穴埋め問題に正答できるなど，エンティティを 含むテキストをある程度うまく処理することができ る. 果たしてこの挙動は言語モデルがエンティティ を人間同様に「知っている」証拠となりうるのだろ うか? 本研究では，言語モデルがエンティティを概念化できているか，すなわち異なる文脈や表層を もって言及される同一のエンティティを同一の事物 として認識できているかどうかについて，その内部表現が十分に密で他と分離されたクラスタを成して いるかという視点で検証を行った. BERTを対象と した実験の結果，約 7 割のエンティティについて， その埋込表現が他の概念と完全に分離したクラスタ を形成していること（すなわち内部表現の意味での 概念化に成功していること）が確認できた. ${ }^{1)}$

## 1 はじめに

近年登場した事前学習済みマスク言語モデル [1,2] は，実世界の事物であるエンティティを含むテ キストをうまく処理できているように見える. 例え ば BERT [1] は "Hillary Clinton was born in [MASK]." という入力に対して，“Chicago”という実世界の事実と整合した出力を返すことができる $[3,4]$.

しかし，このように言語モデルがエンティティを 含む個別のテキストをある程度の精度で「処理でき る」という事実は，モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか. 本稿では，マスク言語モデルがどの程度エンティティ について「知って」いるかについてある程度明らか にすることを試みる。 もしモデルのエンティティに 対する理解を正確に把握する手段が手に入れば，モ デルの解釈性が上がり, さらに高品質な言語モデル


図 1 エンティティの概念化の測定の概要

の実現に繋がり得るだろう。

我々は検証の第一歩として概念化という考え方を 採用する. エンティティを「知っている」人間は,同一のエンティティが異なる周辺文脈で言及され たときでも，あるいは同一のエンティティを指し示 すために異なるメンション（文字列）が用いられた ときでも，それらを同一のものだと正しく認識で きる. 例えば “Barack Obama was born in Hawaii.” と “Barack Hussein Obama was elected...” に登場する人名 を同じ人物（同じ概念）であると認識できる. すな わちエンティティを概念化できている。はたしてマ スク言語モデルは人間同様の概念化をおこなえて いるのだろうか？この問いに答えるため, 本研究で は，同一のエンティティに対する内部表現が十分に 密な（他と分離された）クラスタを成しているかと いう視点での検証をおこなう．言い換えれば，マス ク言語モデルがエンティティをどの程度概念化して いるかという問いに，埋め达み空間の配置を通じて 答えることを試みる。本論文の貢献をまとめると以下の通り：

・事前学習済みマスク言語モデルがエンティティ を概念化できているかについて，同一の事物に 対応するエンティティが埋め込み空間で他の埋 め込みと混ざり合っていないかという観点で定量的に評価する方法を提案した.

・BERTを対象とした検証の結果，エンティティ

の周辺文脈やメンションが多様である場合で も，約 7 割のエンティティは他の概念と区別で きていたことがわかった.

## 2 関連研究

言語モデルの内部表現の分析手法 言語モデルの 内部表現に言語的特徴が反映されているかを分析し ている先行研究として, [5] と [6] が挙げられる. [5] は，普通名詞や動詞の語義によって文脈化単語埋め 込みの位置が異なることを可視化によって定性的に 示した. [6] は, 言語の持つ特徴が単語埋め込み空間に反映されているかを明らかにするために，教師 なしクラスタリングを用いた分析手法を提案した.

我々は [5] と [6] とは異なり, 新たにエンティ ティの情報がモデルの内部表現に反映されているか を探る. また, [6] の手法は生成されたクラスタが 分離可能か不可能かの 2 值しかわからないため, 各 クラスタがどの程度混ざっているのかは測定できな い. したがって, 本研究ではエンティティが埋め込 み空間で他の埋め込みと混ざっているか，もしくは 分離しているかについて連続評価を行う。

## 言語モデルにエンコードされている情報の分析手

法 言語モデルにエンコードされている情報を分析 する手法には，内部表現の分析の他にプロンプトを 用いる手法がある $[3,4]$. 例えば, “Paris is the capital of [MASK]." というプロンプトに対して“France”が 出力されるかによって, 言語モデルが持つ事実知識 を測定している。ただし，プロンプトから得られる 評価は信頼性に欠ける可能性が指摘されている. 具体的には，プロンプトが意味的に同じであっても，予測結果が異なる点 [7] や, 各モデルによって, 正解しやすいプロンプトの選好が存在する点 $[8]$ が報告されている. よって, 本研究ではプロンプトを用 いずにモデルの内部表現を直接分析する.

また，内部表現を分析する手法は言語モデルが 「知って」いることは測れていても，「使っている」 ことを正しく測れているかはわからない点が指摘 されている [9]. そこで, [9] は「知って」いること と「使って」いることを切り分けて分析する立場を とっている. 我々も [9] と同じ立場をとる。つまり，言語モデルがエンティティに関する情報を「知っ て」いることと，それを認識した上で情報抽出や単語生成時に「使って」いるかを切り分けて分析する.本研究では，まず「知って」いることを調査する。

## 3 エンティティの概念化の測定方法

## 3.1 クラスタ間の分離度合いを測定

## 本研究の目的は, 言語モデルがエンティティを

概念化できているかを定量的に確かめることであ る. 例えば, “Barack Obama was born in Hawaii." と “Barack Hussein Obama was elected..." の 2 つの文章 が与えられた場合，登場する人名を同じ人物 (同じ 概念) であると認識できれば，その人物について概念化しているといえる.

概念化ができているかについては，言語モデルの 文脈化単語埋め込みから形成されるクラスタの分離度合いを測定することで判断する. 多義語の文脈化単語埋め込みはその語義毎に埋め込み空間上で偏在 することが知られている [5]. 言い換えれば，同じ 意味で用いられているトークン集合の文脈化単語埋 め込みは空間上で凝集する。もし，言語モデルがエ ンティティを他の概念と混同しているならば，エン ティティの文脈化単語埋め込みは他の概念と混ざり あっていることが予想される. 逆に，エンティティ と他の概念を区別できているのであれば，概念の違 いによって分離していることが予想される. このこ とを踏まえて，文脈化単語埋め込みを用いて以下を 測定する。

・エンティティの各クラスタと，他の概念のクラ スタとの分離度合い

・エンティティ以外の各クラスタと，他の概念の クラスタとの分離度合い

ここでのクラスタとは，センテンス中に現れる "Barack Obama" や"Barack Hussein Obama" の文脈化単語埋め込みを 1 つにまとめた集合を指す。

もし，エンティティの大多数のクラスタがエン ティティ以外のクラスタと比べてうまく分離してい るのであれば，言語モデルはエンティティの概念を よりよく区別できているといえる.

凝縮率 クラスタ間の分離度合いを測定するため に，各文脈化単語埋め込みの最近傍のクラスタの中心が自クラスタのクラスタ中心である割合 (以下凝縮率と呼ぶ)を算出する。

エンティティの集合を $\mathscr{B} ＼mathrm{~ ， エ ン テ ィ テ ィ ~} e \in \mathbb{E}$ に 対応するべクトル集合を $X_{e}:=\left.\{\boldsymbol{x}_{e}^{1}, \boldsymbol{x}_{e}^{2}, \cdots\right.\}$, その重心を $\boldsymbol{b}_{e}:=\frac{1}{\left|\boldsymbol{X}_{e}\right|} \sum_{\boldsymbol{x}_{e} \in \boldsymbol{X}_{e}} \boldsymbol{x}_{e}$, さまざまなエンティティ の重心を集めた集合を $\boldsymbol{B}:=\left.\{\boldsymbol{b}_{e} \mid e \in \mathscr{E}\right.\}$ とおく. エ
表 1 検証用データセットの詳細

表 2 クラスタが凝縮率=100\%である割合 (\%)

ンティティ $e$ の凝縮率，すなわち $\boldsymbol{X}_{e}$ に含まれるべ クトルたちが一箇所に固まっており他のエンティ ティのベクトルたちと十分に分離している度合い $P(e)$ を以下で定義する.

$
P(e):=\frac{1}{\left|\boldsymbol{X}_{e}\right|} \sum_{\boldsymbol{x}_{e} \in \boldsymbol{X}_{e}} \mathbb{1}\left[\underset{\boldsymbol{b} \in \boldsymbol{B}}{\arg \min } d\left(\boldsymbol{x}_{e}, \boldsymbol{b}\right)=\boldsymbol{b}_{e}\right]
$

$d(\boldsymbol{x}, \boldsymbol{y})$ は距離関数であり，検証ではユークリッド 距離を使用した.

この凝縮率は，あるクラスタに所属している割合 を算出するという意味で，クラスタリングの良さ を測る尺度である純度（Purity）と非常によく似て いる.

もし，あるエンティティの凝縮率が $100 \%$ あ゙れ ば，そのエンティティは他のクラスタと分離してお り，他の概念と区別ができているといえる (図 1 , “Obama”) . 逆に凝縮率が低い場合, 他の概念と混ざ り合っているといえる (図 1, “Clinton”と “Trump”).

## 4 検証

言語モデルが各エンティティの概念を区別できて いるかについて，文脈化単語埋め込みの分離度合い を測定することで確かめる．具体的に以下の 2 点に ついて検証する。

1. 言語モデルは周辺文脈が異なるエンティティ同士を“同じもの”であるとわかるか？

2. 言語モデルは周辺文脈とメンションが異なる エンティティ同士を“同じもの”であるとわか るか?

1 点目では，例えば“Obama”は，大統領に就任す る文やゴルフをしている文など，多様な文脈に登場 する.この“Obama”を言語モデルは同じ人物だと 認識しているかを検証する． 2 点目では，例えば， エンティティのメンションが“Obama”である文と， “Barack H. Obama”である文に対して，言語モデル

図 2 エンティティの周辺文脈とメンションが異なる場合 のエンティティのクラスタの凝縮率の頻度

図 3 エンティティの周辺文脈とメンションが異なる場合 のエンティティ以外のクラスタの凝縮率の頻度

は同じ人物だと認識しているかについて検証する。

言語モデルが各エンティティに対して概念の区別 をしているかどうかは，3 節で述べたクラスタ間の 分離度合いを測定し，エンティティ以外のクラスタ よりも凝縮率が高いかどうかで判断する.

## 4.1 設定

モデル 事前学習済み BERT-base (uncased)を使用 した. 取得する文脈化単語埋め込みは BERT 最終層 の隠れ状態べクトルを使用した.

使用データ wikilinks[10] データセットを使用し た. このデータセットには, Wikipedia に存在する 300 万エンティティと，その周辺文脈が収録されて いる. 検証では，上記データセットから約 97 万セ ンテンスをランダムに抽出した. 抽出条件として， 1 クラスタ内の点群は必ず 10 個以上とした. また,検証に使用するエンティティは人名と地名とした。「1. 言語モデルは周辺文脈が異なるエンティティ同士を“同じもの”であるとわかるか？」を検証する際 には，エンティティのメンションの摇れをWikipedia 上のタイトルに統一した. 入力時には， センテンス の文頭に [CLS] トークン，文末に [SEP] トークンを 挿入した。検証用データの詳細は表 1 に示した.

表 4

メンションの変化によって他クラスタと混ざった事例. 括弧内は単語のカテゴリを表す

## 4.2 検証結果と考察

各単語の分離度合いを検証した結果を表 2 に 示す.

## 4.2.1 エンティティの周辺文脈のみが異なる場合 エンティティの周辺文脈が多様であっても， BERT はエンティティを区別できる：各単語の文脈化単語埋め込みの分離度合いを測定したところ，エ ンティティのクラスタの約 $83 \%$ が，凝縮率 $100 \%$ で あり，他のクラスタと分離できていた。対して，エ ンティティ以外のクラスタで凝縮率 $100 \%$ あるも のは約 $29 \%$ でぁった.

エンティティとエンティティ以外の凝縮率を比較すると，エンティティのほうが他の概念と分離 できていることが確認できる。したがって，エン ティティの周辺文脈が多様であっても，BERT はエ ンティティ以外の単語と比べて他の概念と区別でき るといえる。

## 4.2.2 エンティティの周辺文脈とメンションが異な る場合

エンティティの周辺文脈やメンションが多様で あっても，BERT はエンティティを区別できる（図 2,3 ） : 各単語の文脈化単語埋め込みの分離度合い を測定したところ，エンティティのクラスタの約 $70 \%$ が，凝縮率 100\%であった. 対して，エンティ ティ以外のクラスタで凝縮率 100\%であるものは約 29\%であった.

エンティティとエンティティ以外の凝縮率を比較すると，エンティティのほうが他の概念と分離で きていることが確認できた．したがって，エンティ ティの周辺文脈とメンションが多様であっても， BERT はエンティティ以外の単語と比べて他の概念
と区別できるといえる.

しかし，「周辺文脈のみが異なる場合」と比較す ると，エンティティが凝縮率 100\%である事例は約 13\%減少する．すなわち，メンションが異なること で，他のクラスタと混ざるようになり，各エンティ ティの区別が若干難しくなることがわかる.

実際に，エンティティが他のクラスタと混ざって しまう事例を表 3 , 表 4 に示した。これらの事例を観察すると，同じカテゴリ（人名や地名）同士で混 ざっているように見える。実際に集計すると，人名 と地名の両者において同じカテゴリ同士で混ざる比率は，チャンスレベルの比率より高いことがわかっ た (Appendix A, 表 5). よって，BERT は少なくとも オントロジーレベルの概念化はできていることがわ かる.しかしながら, “Stone (actor)" と "stone (noun)" が混ざり合っているように，BERT のエンティティ の概念化は完璧とは言えないことも同時にわかる.

## 5 おわりに

本研究では，マスク言語モデルがエンティティを どのような形で「知って」いるかについて検証を 行った. 検証では，文脈化単語埋め込みから形成さ れるクラスタの分離度合いを分析することで，エン ティティの概念化を測定した。BERTを対象とした 実験の結果，約 7 割のエンティティについて，他の 概念と分離したクラスタを形成していたことが確認 できた. すなわち内部表現の意味での概念化には成功していることがわかった。

ただし，本研究の検証では言語モデルがエンティ ティの概念化を情報抽出や単語生成時に「使って」 いるかはわからない. 今後は言語モデルがタスクを 解く上で，エンティティの概念化を実際に使ってい るかを検証する．これにより，言語モデルの解釈性 を向上することが可能となる.

## 謝辞

本研究は JST CREST JPMJCR20D2, JST ACT-X JPMJAX200S, JSPS 科研費 22H05106，22H03654， 21K17814 の助成を受けたものです. また，本研究の実装に関して東北大学の穀田一真氏に多くのご 助言を頂きました. 感謝致します.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 423-438, 2020.

[5] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and measuring the geometry of bert. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[6] Yichu Zhou and Vivek Srikumar. DirectProbe: Studying representations without classifiers. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5070-5083, Online, June 2021. Association for Computational Linguistics.

[7] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and improving consistency in pretrained language models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 10121031, 2021.

[8] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Karim Lasri, Tiago Pimentel, Alessandro Lenci, Thierry Poibeau, and Ryan Cotterell. Probing for the usage of grammatical number. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8818-8831, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Sameer Singh, Amarnag Subramanya, Fernando Pereira, and Andrew McCallum. Wikilinks: A large-scale cross-document coreference corpus labeled via links to wikipedia. 2012.

## A Appendix

エンティティの各単語埋め込みが最近傍クラスタと混ざっている場合，同じカテゴリ同士で混ざるのか， もしくは違うカテゴリと混ざるのかについて検証した. 得られた結果は表 5 に示した. チャンスレべルの比率と比較すると，同じカテゴリ同士で混ざる比率がより多いことがわかる．ここでのカテゴリは，人名，地名，エンティティ以外の 3 種類である.

表 5 最近傍クラスタが異なるクラスタである場合の各カテゴリの比率


 坂田将樹 1,2 横井祥 1,2 Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$ 1 東北大学 2 理化学研究所 sakata.masaki.s5@dc. tohoku.ac.jp benjamin.heinzerling@riken.jp, \{yokoi, kentaro.inui\}@tohoku.ac.jp  