# 人間と言語モデルに対するプロンプトを用いた ゼロからのイベント常識知識グラフ構築

井手竜也 ${ }^{1}$ 村田栄樹 1 堀尾海斗 1 河原大輔 1
山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{t-ide@toki., eiki.1650-2951@toki . , kakakakakakaito@akane. , dkw@\}waseda.jp
\{takato.yamazaki, shengzhe. li , kenta. shinzato, toshinori.sato\}@linecorp.com

## 概要

人間はなにかを理解したり推論したりするとき，常識を用いる.コンピュータにそのような常識を理解させるため，知識ベースを構築する試みがある。 しかし，高い品質の大規模なデータを低いコストで 獲得するのは難しい，本論文では，クラウドソーシ ングと大規模言語モデルの両方を用いて，ゼロから 知識グラフを構築する手法を提案する。提案手法に 従って，翻訳ではない日本語ならではの知識グラフ を構築した。さらにその知識グラフから小規模な知識モデルを訓練し，その性能について検証した。

## 1 はじめに

人間はなにかを理解したり推論したりするとき，常識を用いる．それと同じように、コンピュータが オープンドメインの QAを解いたり物語や対話を読 んだりするためには，常識が必要となる [1,2]. コ ンピュータに常識を理解させるため，それに向けた 知識ベースを構築する試みがある．多くはクラウド ソーシングによって構築される $[3,4,5]$ が，大規模 な構築には高いコストがかかる。一方，知識を自動 で獲得する手法 $[6,7]$ もあるが，高い品質の知識を 獲得するのは難しい. 近年，知識べースの構築に大規模言語モデル [8] を用いる手法 [9] も提案されて いる.

知識をクラウドワーカに記述してもらうのと大規模言語モデルに生成させるのは，どちらも少しの例 から多くの例を作成してもらうという意味で，本質的に同じことである．異なるのは人間か言語モデル かだけで，いわば後者は前者のアナロジーである。本論文では，人間と言語モデルに対するプロンプト を用いて，段階的に知識グラフを構築する手法を提

図 1 提案手法の概要

案する.

提案手法に従って，イベントに関する常識の知識グラフを構築した. Yahoo!クラウドソーシング1) と HyperCLOVA [10] を併せたゼロからの構築によっ て，英語の単なる翻訳ではない日本語ならではの知識グラフを獲得した。また人間と言語モデルに基づ く推論を比較し，傾向の違いを明らかにした. さら に構築した日本語の知識グラフから知識モデル [11] を訓練し，見たことがないイベントに対する推論の 生成について検証した。2)

## 2 関連研究

ConceptNet [3] はエンティティ同士の関係, ATOMIC [4] はイベント同士もしくはイベント とメンタルステートの関係を扱う知識グラフで ある。これらの知識はクラウドソーシングを通 して，人の手によって書かれている. ATOMIC と ConseptNet をマージして拡張した知識グラフに， ATOMIC-2020 [5] がある. また ASER [6] と TransOMCS [7] もともにイベントに関する知識グラフ だが，これらは大規模なテキストから抽出されて いる.

ConceptNet や ATOMIC はクラウドソーシング

1) https://crowdsourcing.yahoo.co.jp/

2） 構築した知識グラフとそれについて訓練した知識モデル は，公開予定である。

(a) イベント

(b) 影響の推論図 2 イベントと推論を獲得するタスクの例

によって獲得されているのに対して, ASER と TransOMCS はともに自動獲得である. 自動獲得の 場合，大規模な構築は容易だが，テキストに現れな い知識を得ることは難しい。一方，クラウドソーシ ングであれば良質なデータを集められるが，金銭的 にも時間的にもコストが高い.

大規模言語モデルがもつ常識をより小さな言語モ デルに蒸留する試み [9] がある。 そこでは GPT-3 [8] を用いて ATOMICを拡大し，RoBERTa [12]を用い てフィルタを施している.

## 3 知識グラフの構築

本論文では，クラウドソーシングと大規模言語モ デルを用いて，常識推論に関する知識グラフをゼロ から構築する手法を提案する。まずクラウドソーシ ングによって小規模な知識グラフを構築し，それを プロンプトに用いることによって，大規模言語モデ ルがもつ知識を抽出する。提案手法の概要を図 1 に 示す. クラウドソーシングだけを用いてゼロから知識グラフを構築する場合，金銭的にも時間的にもコ ストが高い. クラウドソーシングと大規模言語モデ ルを併用することで，とくに時間的なコストの削減 が期待される。

ATOMIC [4] や ASER [6] のような，イベント関 する知識グラフを日本語でゼロから構築する。一段階目のクラウドソーシングには Yahoo!クラウド ソーシング，二段階目の大規模言語モデルには HyperCLOVA [10]を用いる.

## 3.1 クラウドソーシングによる収集

まずはイベントだけを集め，続いてそれぞれのイ ベントに対する推論を集める.

イベント ある人物 $\mathrm{X}$ や周辺の人物 $\mathrm{Y}$ ，人物 $\mathrm{Z}$ に 関する日常的なイベントをクラウドワーカに記述し表 1 小規模な知識グラフの統計

てもらう．タスクの例を図2(a) に示す。タスクでは 指示と 10 個の例を与え， 1 人あたり 1 個以上のイベ ントを記述してもらう. 重複するイベントは集計時 に取り除く。

推論 獲得したイベントに対して，その前後に対 する推論をクラウドワーカに記述してもらう．推論 する関係には，ATOMIC のそれにならって以下の 4 種類を採用する. ${ }^{3)}$

1. 前にその人に起こっていただろうこと (必要)

2. 後にその人に起こるだろうこと (影響)

3. 前にその人が思っていただろうこと (意図)

4. 後にその人が思うだろうこと (反応)

イベントあたり 3 人に尋放，1 人あたり 1 個の推論を記述してもらう，タスクの例を図 2(b) に示す.重複する三つ組4)を取り除き，日本語構文解析器 $\mathrm{KNP}^{5}$ を用いて推論に構文的なフィルタを施す。6)

クラウドソーシングによって獲得したイベント と推論の統計を表 1 の最左列に示す. コストとし ては，計 547 人のクラウドワーカを雇い，その料金 は 16,844 円であった. 知識グラフの一部を表 2 に 示す.

## 3.2 クラウドソーシングによるフィルタ

獲得した推論に対して，それらの品質をクラウド ワーカに評価してもらう．推論ごとに適切かどうか を 3 人に判定してもらい，多数決をとる．推論の評価は，関係ごとに独立に行う. 適切でないと判定さ れた推論は，フィルタして除去する。

フィルタの統計は表 1 の中 2 列にある。計 465 人 のクラウドワーカを雇い，8,679 円を支払った. 判定における Inner-Annotator Agreement として計算し た Fleiss’s $\kappa$ を，表 1 の最右列に示す.

3）関係は ATOMIC のそれとまったく同じではない．たとえ ば本研究における意図は, ATOMIC における xIntent と xWant からなる.

4）本研究では，あるイベントとそれに対する推論，推論にお ける関係を(イベント,関係, 推論)という三つ組として扱う.

5) https://nlp.ist.i.kyoto-u.ac.jp/?KNP

6）主語が人物 $X$ かどうかや時制が現在かどうか，イベント は 1 文かどうかなどを判定する.

適切でないと判定された推論には，以下の傾向が あった. 一つは (X が二度蒋する, 反応, 今日は仕事 が休みだと思う)のように，前後が逆というもので あった. (Xがネットサーフィンをする, 必要, 海に 着く)のように，自然でないものもあった。

## 3.3 大規模言語モデルによる生成

HyperCLOVA Koya 39B モデルを用いて，知識グラ フを大規模に拡大する. 生成では 10 個のショット を用いて生成を行う. ショットは生成のたびにラン ダムに選ぶ.

イベント 3.1 節で獲得したイベントから，新た なイベントを生成する. ランダムに選んだ 10 個の イベントをショットとして列挙し、モデルに 11 個目を生成させる。10,000 回生成し，重複するイベン トを取り除く。

推論イベントと同じように， 3.1 節と 3.2 節で獲得した推論をショットとして，10 個の推論から 11 個目を生成する．推論は生成したイベントごとに 10 回生成し, 三つ組の単位で重複するものを取り除 く. 生成では、関係ごとに異なるプロンプトを用い る. ショットの三つ組はテンプレートを用いて自然言語に変換し，パターンマッチによってテールを抽出する．ショットのテンプレートを表 3 に示す. 抽出した推論に対して、3.1 節のフィルタを施す.

大規模言語モデルが生成したイベントと推論の統計を表 4 の最左列に示す. また生成した推論を 3.2

(a) 蓋然性

(b) 時間的な幅図 3 影響の推論に関する人間と言語モデルの傾向

節の手順で評価した結果を表 4 の右 2 列に示す. 評価は関係ごとに、生成した推論からランダムに選ん だ 500 個に対して行った. 計 409 人のクラウドワー カを雇い，その料金は 7,260 円であった. 大規模な 知識グラフの一部を表 5 に示す.

構築した知識グラフは，たとえば (Xが会社に行 く, 必要, $\mathrm{X}$ が電車に乗る)のように, 日本の文化が反映されたものとなっている.このことは，異なる言語の似たような資源をただ翻訳するのではなく，対象の言語においてゼロから構築することの意義を示 すとともに，提案する手法の価値を強調している。

## 4 知識グラフの分析

クラウドソーシングの知識グラフと大規模言語モ デルの知識グラフ，すなわち人間と言語モデルが生 み出す推論の傾向を比較する. 本研究では, 比較の 観点に蓋然性と時間的な幅を採用する．4 関係のう ち，代表として影響を検証する。

3.1 節と 3.2 節で獲得した三つ組のヘッドに対し て，3.3節の手順にしたがってテールを 3 個ずっ生成する。影響に関する 554 個の三つ組から，586 個 の推論を獲得した。

蓋然性 あるイベントの後に起こるイベントが， どれくらい起こりやすいかを見る。影響の関係にあ るイベントのペアをクラウドワーカに与え，後のイ ベントがどれくらい起こりやすいかを 3 段階で判定 してもらう．推論あたり 3 人に尋ね，回答の中央値 を採用する。

時間的な幅 あるイベントが起こってから，後に 起こるイベントが起こるまでの時間的な幅を見る.
表 5 大規模な知識グラフの例

} & 関係 & 推論 \\

表 6 知識モデルの評価

表 7 GPT-2 に基づく知識モデルの生成例

蓋然性と同じように，先のイベントが起こってから 後のイベントが起こるまでの時間幅を 5 段階で判定 してもらう． 3 人に尋ね，中央値を採用する.

それぞれの比較を図 3 に示す. 図 3(a) から，人間 が記述した推論の方がわずかに蓋然的であることが わかる. 図 3(b) では，大規模言語モデルが生成する 推論の方がより時間的に幅がある。このことから，人間は影響と聞いて比較的すぐ後に起こるイベント を推論するが，言語モデルは少し遠くのイベントを 見ると言える。

## 5 知識モデルの訓練

3 節の知識グラフを用いてイベント常識に関する 知識モデル [11]を訓練する。 大規模言語モデルがも つ知識をより小規模な知識モデルに蒸留 [9] するこ とで，それらを扱うためのコストが小さくなる.

GPT-2 [13] と T5 [14] の日本語版7) を，構築した知識グラフで Finetuningする。自動評価として，BLEU [15] と BERTScore [16] を計算する. BLEU は，日本語形態素解析器 Juman $++^{8}$ を用いて分かち書きし た単語について計算する. BERTScore は, RoBERTa [12] の日本語版9)を用いて計算する. さらに人手評

7）日本語版には，それぞれ https://huggingface.co/ nlp-waseda/gpt2-small-japanese $と$ https://huggingface. co/megagonlabs/t5-base-japanese-web を採用した.

8) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B

9) https://huggingface.co/nlp-waseda/ roberta-base-japanese価として，推論の尤もらしさをクラウドソーシング によって評価する．推論の起こりやすさを常に・よ く・たまに・決してないの 4 段階で判定してもら う. 推論あたり 5 人のクラウドワーカに判定しても らい，決してない以外の判定が過半数を上回る推論 を尤もらしいものとする。また上記の 4 段階にそれ ぞれ 3 から 0 までのスコアを割り当て, 推論ごとに 平均をとる.

知識グラフの 9 割を訓練データ，1 割をテスト データとする. テストデータに対する自動評価と人手評価の結果を表 6 に示す. 尤もらしさはどちらの 知識モデルも約 9 割で，おおむね適切な推論を生成していると言える。またすべての指標に関して， GPT-2 が T5 を上回っている. GPT- 2 に基づく知識 モデルの生成例を表 7 に示す.

## 6 おわりに

本研究では, クラウドソーシングと大規模言語モ デルの両方を用いて，ゼロから知識グラフを構築す る手法を提案した．提案した手法をもとに，Yahoo! クラウドソーシングと HyperCLOVA [10]を用いて， イベントとメンタルステートの常識に関する知識グ ラフを日本語で構築した，タスクを設計してクラウ ドワーカに記述してもらうのと，プロンプトを設計 して言語モデルに生成させるのは互いに似ているこ とから，それらの差異を調査した。さらに構築した イベントの常識に関する知識グラフから, 同様の常識に関する知識モデルを訓練した。

ゼロから知識グラフを構築する手法や，それをも とに構築した日本語の知識グラフ，あるいは訓練し た知識モデルが，コンピュータの常識推論を促進す ることを望む。

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[4] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[5] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[6] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. Aser: A large-scale eventuality knowledge graph, 2019.

[7] Hongming Zhang, Daniel Khashabi, Yangqiu Song, and Dan Roth. Transomcs: From linguistic graphs to commonsense knowledge. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 40044010. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[8] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.
[9] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro $\{$ bert $\}$ a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 生成の詳細

## A. 1 プロンプト

イベントの生成では，ランダムに選んだ 10 個の イベントをショットとして列挙する。ショットには 番号を振る.プロンプトの例を以下に示す.

1. Xがスマホでゲームする

2. Xが花に水をやる

3. XがYを飲み会に誘う

(中略)

11. Xが

推論の生成でも，ランダムに選んだ 10 個の推論 をショットとして列挙する．ただしショットは自然言語で記述し，パターンマッチによって推論を抽出 する．影響の推論を生成するプロンプトの例を以下 に示す.

1. Xがにわか雨にあう。結果として、Xが軒先 で雨宿りする。

2. Xがネットで服を買う。結果として、Xが荷物を受け取る。

3. Xが小腹を空かせる。結果として、Xが菓子 を食べる。

(中略)

11. Xが筆箱を忘れる。結果として、Xが

## A. 2 ハイパパラメータ

生成に関するハイパパラメータを以下のよう に設定する. 生成の最大トークン数を 32 とする.

Softmax では Temperature を 0.5，Top-P と Top-Kをそ れぞれ 0.8 と 0 とする. さらに Repeat Penaltyを 5.0 とする.

## B GPT-2 日本語 Pretrained モデル

知識モデルを構築するにあたって，GPT-2 [13] の日本語版 ${ }^{10)}$ を構築する. 日本語版 Wikipedia と CC-100 の日本語部分を訓練データとして，言語モ デルを学習させる.

ハイパパラメータは GPT-3 Small [8] を参考に設定する．学習率を 6e-4，Weight Decay を 0.1 とする.学習率のスケジューラを Cosine とする。 バッチサ イズは 512 で，訓練は 2 エポック（GPT-3 の約 10\%）行う。 ステップ数の $0.1 \%$ Warmup に充てる.

10）事前学習済みモデルは https://huggingface.co/ nlp-waseda/gpt2-small-japanese で公開している.

## C 知識モデルの詳細

## C. 1 手法

GPT-2 を用いる場合，関係を表す特殊トークンを イベントの後に付与し，それらを入力として推論を 生成する。一方 $\mathrm{T} 5$ では，生成する推論の関係をプ ロンプトとみなし，入力するイベントの前に記述す る. T5 におけるプロンプトを表 8 に示す.

## C. 2 ハイパパラメータ

GPT-2 と T5 の日本語版を Finetuning するにあたっ ては，共通のハイパパラメータを設定する．学習率を 2e-5，Weight Decay を 0.01 とする. Gradient Clippingとして，勾配のノルムを最大 1.0 とする. バッチサイズは 16 で，訓練は 3 エポック行う．ま た生成はすべて Greedy Search で行う.
 井手竜也 ${ }^{1}$ 村田栄樹 1 堀尾海斗 1 河原大輔 1 山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$ 1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社 \{t-ide@toki., eiki.1650-2951@toki . , kakakakakakaito@akane. , dkw@\}waseda.jp \{takato.yamazaki, shengzhe. li , kenta. shinzato, toshinori.sato\}@linecorp.com  