# Sequence-to-sequence モデルを用いた 一対多関係知識の記憶とその取り出し

長澤春希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 穀田一真 ${ }^{1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{haruki.nagasawa.s8, kokuta.kazuma.r3\}@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp kentaro.inui@tohoku.ac.jp

## 概要

ニューラル言語モデル (LM) による一対多関係

知識の記憶と取り出しの能力について, sequence to sequence モデルを用いた実験的な検証を行う．本研究では一対多関係知識の扱いを「個別の要素の記憶」と「記憶した要素の取り出し」に切り分け，そ れぞれにおける LM の振る舞いを調査する。そして 実験により，LMに一対多関係知識を記憶させるこ とは一定程度可能であるが，「記憶した要素の取り 出し」については, 単純な設定では達成されないと いう結果が得られたことを報告する。

## 1 はじめに

近年，大規模なコーパスで事前学習を行った ニューラル言語モデル (LM) が様々なタスクにおい て高い水準の性能を発揮している．LM はこの事前学習において，単語の使われ方や文法などの言語に 関する基本的な知識を獲得しているとされる。

またこれと同時に，LM は事前学習で用いたコー パスから，エンティティやイベントなどの世界に関 する知識もそのパラメータ内部に暗に獲得している ことが明らかとなっている $[1,2]$. 世界知識のうち, ある人物 (親)とその子どもや，映画監督とその作品 など，特定の関係で結ばれたエンティティについて の知識を関係知識と呼ぶ.ニューラル言語モデルは 事前学習の過程でかなり広範な関係知識をテキスト 集合から獲得している可能性があることが指摘され ている.

こうした背景から LMを知識べースと見なして その能力を調べる研究や LM と既存知識ベースを 統合する研究が広がっている (Language Models as Knowledge Bases) $[1,3,4,5,6]$. また, 事前学習済みの LM から知識を引き出すためのプロンプトについて例）集合の取得

図 1: 一対多関係知識の記憶と操作のイメージ

の研究も盛んに行われている $[7,8]$. しかしながら， これまでの先行研究における主な関心の対象は，一対一対応の関係知識に留まっており，多対多関係の 知識については扱いが簡単でないということ以外明 らかにされていない $[1,3]$. 一対一関係知識は，例 えば「国と首都」のようなもので，ある主語と関係 が与えられた時に，対応する目的語が一意に定まる ものを指しており，多対多関係知識は「映画と出演者」のように，ある関係を考えたときに，互いに 対応する主語と目的語が複数個存在するものを指 す。そして世界に関する知識には，上述の多対多関係の知識も多く存在することが指摘されている [3].従って，LM を知識べースとして扱える可能性をよ り緻密に調査するために，LM が多対多関係知識を どの程度正確に記憶 (パラメータの内部に格納) でき るのか，また記憶した知識の操作 (例えば，多対多関係のインスタンスに属する集合の間の演算) がど の程度可能か，といった基本的な能力を明らかにす る必要があると考えられる. 本研究ではその第一歩 として，一対多関係の知識を人工的に生成したデー タセットを構築し，これに対する LM の記憶と操作 の能力を調べた。

本研究で調査するのは図 1 に示すような記憶と操作の能力である．「記憶」の能力とは，LMに〈親子〉関係ような一対多関係のインスタンスを個別に 教示した場合に，教示したインスタンスの情報が LM の内部に格納されているかを指す。「操作」の能
力としては，例えば図 1 の「出力」にあるように，あ る人物の〈子ども〉をそれぞれ個別に教示した LM から，その集合 (〈子ども〉の集合)を取り出すこと ができるか，言い換えれば個別に記憶した要素を列挙して出力することが可能かといった能力を指す.

本研究では，統制したデータで LM の能力を調べ ることがまずは重要だと考えたため，Wikidata [9] か ら子どもが複数に存在する親とその子どもの名前を 収集し，一対多関係知識のデータセットを人工的に 作成した．本稿ではこのデータセットに対する LM の振る舞いを報告する。

## 2 関連研究

## 2.1 関係知識の記憶

Heinzerling と Inui は，言語モデルを知識ベースと して扱うための基本的な要件として次の 2 つを定義 している。 (i) 多数のエンティティを含む大量の世界知識を格納できること。(ii) 格納した世界知識を参照できること。

この要件を元に，LM が一対一関係知識をどれく らいの精度でどれほどの量格納することができるの かという点について, 様々なエンティティ表現を検討しながら精緻に検証している. しかしながら一対多関係知識についての LM の振る舞いは依然として 明らかにされていない。

## 2.2 集合の扱い

本研究では複数の目的語を扱うことを考えて いるが，これは目的語の「集合」を扱うことと置 き換えることが可能である. この集合の扱いを深層学習，ないしは Transformer [10] で取り組んでい る代表的な先行研究として, Deep Sets [11] や Set Transformer [12] が存在する. 両者とも入力としての 集合に主眼を置いたものになっており，順序普遍性 や，任意の大きさの集合の扱いについての言及がな されている。本研究では出力としての集合に主眼 を置いているが，順序普遍性などの性質は共通して 重要な側面であると考えられる。

## 3 調査手法について

## 3.1 用語定義

本研究で登場する用語と意味を定義する。

(b) 実験 4.4 の概要図

図 2: 実験における学習データおよび評価についてのイメージ図

一対多関係知識 1 つの主語に対し，特定の関係 を満足する目的語が複数存在するような世界知識.

例: John Lennon has children named Sean Lennon and Julian Lennon.

個別要素 一対多関係知識において，主語と目的語を一対一対応の形式で結んだ個別の関係知識.

例: John Lennon has a child named Sean Lennon.

個別教示 一対多関係知識を構成するそれぞれの 要素について，一対一対応の形式で個別に言語モデ ルに学習させること。

例 (入力文)：Who is the child of John Lennon?

例 (ターゲット文): Sean Lennon.

集合教示 一対多関係知識全体を言語モデルに学習させること。

例 (大力文): Who are the children named John Lennon?例 (ターゲット文): Sean Lennon, Julian Lennon.

## 3.2 生成モデルによる一対多関係知識の 扱い

本研究では，事前学習済み LM に対し，一対多関係知識を明示的に学習させた際の振る舞いを調査 する。具体的な調査方法については，言語モデルを 用いた穴埋め形式と，生成モデルを用いた回答文生成形式の 2 つが考えられる (本研究では前者を分類問題，後者を生成問題と呼ぶこことする). 分類問題については，LM が出力する予測確率分布の上位 $\mathrm{N}$ 個の目的語を，一対多関係知識に対するモデルの 回答として扱う．分類問題では，モデルに対し個別教示を実施することで複数ある目的語をほぼ全て 正しく予測できることを明らかにし，言語処理学会第 28 回年次大会にて報告している [13]. 本稿では, sequence-to-sequence[14] モデルを用いた生成手法に よるアプローチ (生成問題) についての実験結果を報告する. 生成問題では，個別教示を施した LM が個
別要素を正しく記憶できているかという点と，記憶 した複数の個別要素を過不足なく列挙して出力する ことができるかという点について調査を行う。

## 4 実験

## 4.1 実験データ

本実験では LM の記憶精度を正確に測定すること を目的に，学習データを独自に用意した. 具体的に は，Wikidata[9] から親とその子ども (2-4 人) の名前 を取得し，使用する人物名について，次の条件を満 たすような調整を行った。
- 主語・目的語の両方に渡り, 同姓同名のエン ティティが存在しない.
- 単語生成長による記憶の難易度を調整するた め, 空白もしくはハイフン区切りで 4 単語以下 で構成されるエンティティのみを使用.

なお本研究では, 明示的に学習させた関係インス タンスの記憶と操作のみを考えることとする。従っ て，学習データとして登場していない関係インスタ ンスに対する汎化能力などの測定は行わない。

## 4.2 実験設定

本実験では， sequence-to-sequence モデルとして事前学習済みの BART-base [15] および T5-base [16] を 用いた. 後述の 2 つの実験 ( 4.3 節， 4.4 節) におい て，訓練データに対して overfitするまで学習を継続 した. 具体的には，各主語についての入力に対し,目的語を 1 つ生成させ，それが正しい目的語のいず れかであれば正解，そうでない場合は不正解とし， この正解率が 5 エポック以上改善しなくなるまで 学習を継続した. また最適化アルゴリズムとして AdamW [17]を採用した。

## 4.3 実験: 個別教示のみ実施

ここでは個別教示による学習のみを行い，LM が 1 つの主語に紐づく複数の目的語を正しく記憶できるかについての検証を行った. 具体的には “\{Subject \} has a child named 〈mask〉.“に対し, 目的語 を 1つ生成させるという学習を全ての目的語につい て実施した. つまり, 図 2aのように 1 つの入力文 に対し, その主語に紐づく目的語数分のターゲット 文が存在する学習設定となっている.

そして，個別教示を実施した LM が複数の目的語
をどの程度記憶できているかについて, beam search を用いて複数の系列を生成することにより確認し た. 具体的には 1 つの入力に対して， beam 幅をそ の主語の目的語数分に設定し，それぞれの生成系列群の中に正しい目的語がいくつ含まれているかを調査した ${ }^{1)}$. また，モデルに記憶させるエンティティ 数を変化させ，記憶できる目的語数が変化するかも 併せて検証した。

図 3 はそれぞれ目的語数が $2 ， 3 ， 4$ 個の主語につ いて，全ての目的語を漏れなく記憶できた主語数を 示した結果である.

表 1: 1 対 4 関係知識について目的語を 3 つ以上記憶できている 主語の割合 $(\%)$

実験より，BART・T5 の両モデルに関し，目的語数が少ないほど取りこぼし少なく記憶することが可能であることが明らかとなった. 一方で 1 対 4 関係知識 (図 3 の赤線) に注目すると，4つの目的語全て を記憶できている主語の割合は BART で概ね 5 割, $\mathrm{T} 5$ で概ね 7 割程度に留まることが分かった.これ について，各主語について 4 つ存在する目的語のう ち3つ以上記憶できているものを含めた場合の記憶率を掲載したのが表 1 である. 表より，両モデルと も9割以上の記憶率となっていることが分かる. 上述の傾向はデータサイズ，すなわち記憶させるエン ティティの総数に依存しない結果となった.

## 4.4 実験: 個別教示と集合教示

この実験では，「記憶した要素の取り出し」につ いての能力を獲得することを目的とし，個別教示に 加えて集合教示を実施した. 集合教示について具体的には “\{Subject\} has children named $\langle$ mask $\rangle$.“の入力

文に対し，“\{Object1\}, \{Object2\}，..“をターゲット 文として設定し, 複数の目的語を列挙して出力する 学習を行った。これにより，入力文に“children“が 含まれる場合は, 記憶した正しい目的語を全て列挙 する振る舞いをモデルに獲得させることを狙った。 この集合教示を一部の主語について実施し, 明示的 に集合教示を行っていない主語についても同様の出力が可能になるかといった汎化能力を検証した (本実験の概要を図 $2 \mathrm{~b}$ に示す).

学習方法については，(i) 個別教示を行った後に 集合教示を行う方法と，(ii) 個別教示と集合教示を 同時に実施する 2 通りが考えられる．前者について は，集合教示が行われるにつれて個別教示に対する 正解率が急激に下がってしまう事象 (破局的忘却) が 確認された。一方で後者については，訓練データに 集合教示のデータを含めても，LM の個別要素の記憶に対する振る舞いはほとんど影響受けないことが 確認された. 従って本節では, 個別教示と集合教示 を同時に行った場合についての結果を報告する。

ここでは 1 対 2-4 関係知識について，それぞれ 3000 件の主語を対象に学習を行った. 個別教示に ついては全ての目的語に対して実施しながら, 集合教示の割合を変化させて集合出力に関するモデル の振る舞いを検証した．具体的には全体の 30，60， 90\%の主語について集合教示を行った. 表 2 および 表 3 はそれぞれ BART，T5 についての実験結果で ある. 正しい目的語を不足なく全て出力できている 場合を正解, 出力漏れや誤った目的語が出力されて いる場合を不正解とし, 全主語に対する正答率を計算した. また表の下段の値は，それぞれ出力系列に 含まれるエンティティ単位での recall・precision の 平均値となっている.2)

表 2: BART: 集合教示割合と出力集合の正解率

実験より BART と T5 のそれぞれで異なる振る舞 いが観察された. BART については，30\%集合教示 における 1 対 2 関係知識の正答率を除き，明示的に 学習を行った主語についても複数の目的を正しく列
 ては Appendix B に記載.表 3: T5: 集合教示割合と出力集合の正解率

挙することが難しいという結果となった. 学習率や バッチサイズ等のハイパーパラメータの探索を行っ たがいずれの場合においても同様の結果となった. T5 では基本的に明示的に集合教示を行った割合以上の正解率となっており,「記憶した要素の取り出 し」についての能力が多少汎化していると考えられ るが，本質的な能力が獲得されたとは考えにくい結果となった。

## 5 おわりに

本稿では sequence-to-sequence モデルを用いた生成 アプローチによる一対多関係知識の扱いについて，「個別の要素の記憶」と「記憶した要素の取り出し」 に切り分けて調査を行った。

前者については beam search により複数系列を生成し，その中にいくつ正しい目的語が含まれている かという観点で検証を行った. 今回の学習方法で は，個別教示を行った LM が複数の目的語全てを漏 れなく格納するのは困難である結果となった。 $\mathrm{N}$ 個 ある目的語を全て記憶できているエンティティと， 1つしか記憶できないエンティティについてどのよ うな差があるのかや，より良い学習方法の模索とい う点について今後緻密に検証する必要があると考え られる。

後者については，個別教示と同時に集合教示を施 すことで，LM に格納されている複数の目的語をま とめて出力する能力の獲得を図った. こちらについ ては同じ学習設定においてもモデルにより顕著に異 なる振る舞いが確認された. しかしながら比較的学習がうまくいったと考えられる T5においても「記憶した要素の取り出し」についての汎化能力は低い 水準で留まる結果となった. 以上より, 各モデルに 対するより適切な学習データの構築や学習方法の工夫の必要性が示唆された.

今回の実験結果を踏まえ，より正確に複数の目的語を LM に記憶させる方法と，記憶した要素の引き 出しについてどのような施策が必要になるかを引き 続き調査していく所存である.

## 謝辞

本研究は JSPS 科研費 21 K17814 および JST, CREST，JPMJCR20D2 の助成を受けたものです.

## 参考文献

[1] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander $\mathrm{H}$. Miller. Language models as knowledge bases? In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 24632473. Association for Computational Linguistics, 2019.

[2] Chenguang Wang, Xiao Liu, and Dawn Song. Language models are open knowledge graphs. CoRR, Vol. abs/2010.11967, , 2020.

[3] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pp. 1772-1791. Association for Computational Linguistics, 2021.

[4] Gerhard Weikum, Xin Luna Dong, Simon Razniewski, and Fabian M. Suchanek. Machine knowledge: Creation and curation of comprehensive knowledge bases. Found. Trends Databases, Vol. 10, No. 2-4, pp. 108-490, 2021.

[5] Tara Safavi and Danai Koutra. Relational world knowledge representation in contextual language models: A review. CoRR, Vol. abs/2104.05837, , 2021.

[6] Simon Razniewski, Andrew Yates, Nora Kassner, and Gerhard Weikum. Language models as or for knowledge bases. CoRR, Vol. abs/2110.04888, , 2021.

[7] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know. Trans. Assoc. Comput. Linguistics, Vol. 8, pp. 423438, 2020.

[8] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[9] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 49, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[11] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabás Póczos, Ruslan Salakhutdinov, and Alexander J. Smola. Deep sets. CoRR, Vol. abs/1703.06114, , 2017.

[12] Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, and Yee Whye Teh. Set transformer: A framework for attention-based permutation-invariant neural networks. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, Vol. 97 of Proceedings of Machine Learning Research, pp. 3744-3753. PMLR, 2019.

[13] 長澤春希, Benjamin Heinzerling, 乾健太郎. ニューラ ル言語モデルによる一対多関係知識の記憶と操作. 言語処理学会 第 28 回年次大会 発表論文集, pp. 1203-1208, 2022.

[14] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Zoubin Ghahramani, Max Welling, Corinna Cortes, Neil D. Lawrence, and Kilian Q. Weinberger, editors, Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, December 8-13 2014, Montreal, Quebec, Canada, pp. 3104-3112, 2014.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7871-7880. Association for Computational Linguistics, 2020.

[16] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[17] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

## A 個別教示を実施したモデルの実際の beam search 出力例

個別教示を実施した BART，T5 の両モデルについて， beam searchを用いた実際の出力系列を以下の表に 掲載する。 BART に対する入力文は 1 対 2 関係知識に関するものであるため，正解となる目的語は 2 つ存在 する。一方で $\mathrm{T} 5$ に対する入力文は 1 対 4 関係知識となっているため，正解の目的語は 4 つ存在する.

それぞれについて，目的語数分の系列を beam searchにより生成し，正しい目的語が重複なく生成されてい るかを確認したものが実験 4.3 となっている.

表 4: 個別教示後の実際のモデル出力例 (上位 4 系列)

BART

 &  & 成否 \\

Maya Widmaier-Picasso or Paulo Picasso) & \\

## B 集合生成における recall・ precision の算出

ここでは，表 2,3 における recall・ precision の算出方法について説明する．ある主語について，正解の目的語集合を gold_entities, モデルが出力した目的語集合をpred_entities とし，num $(X)$ を集合の要素数を表す ものとする. recall・precision はそれぞれ式 (1) および式 (2) で算出した. これを全ての出力について計算し, その平均を表 2,3 に掲載している。

$
\begin{gathered}
\text { recall }=\frac{\text { num }(\text { pred_entities } \cap \text { gold_entities })}{n u m\left(g o l d \_e n t i t i e s\right)} \\
\text { presicion }=\frac{\text { num }(\text { pred_entities } \cap \text { gold_entities })}{n u m\left(p r e d \_e n t i t i e s\right)}
\end{gathered}
$
 長澤春希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 穀田一真 ${ }^{1}$ 乾健太郎 ${ }^{1,2}$ 1 東北大学 2 理化学研究所 \{haruki.nagasawa.s8, kokuta.kazuma.r3\}@dc.tohoku.ac.jp benjamin.heinzerling@riken.jp kentaro.inui@tohoku.ac.jp  