# 大規模言語モデルによって構築された常識知識グラフの 拡大と低コストフィルタリング

村田栄樹 1 井手竜也 ${ }^{1}$ 榮田亮真 1 河原大輔 1
山崎天 $^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
 }^{1}$ 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社


\{eiki.murata.1650-2951@toki., t-ide@toki.,s.ryoma6317@akane.,dkw@\}waseda.jp

\{takato.yamazaki, shengzhe.li, kenta.shinzato, toshinori . sato\}@linecorp.com
## 概要

計算機の常識を補うために常識知識グラフが構築されてきたが, 収集コストの観点から規模や言語 が限られる. 本研究では, 大規模言語モデルによる 常識推論にフィルタモデルを適用することで, 高精度な常識知識グラフの低コストかつ大規模な構築 を目指す. まず日本語常識知識グラフにおいて, 生成に関するファクタを分析する。さらに，常識知識 グラフの低コストなフィルタリング手法を提案す る.フィルタリングしたグラフを人手評価した結果，提案手法の有効性が示された. 構築されたグラフで fine-tuning した中規模言語モデルの常識生成に, フィ ルタリングが与える影響についても検証する。

## 1 はじめに

計算機による言語理解を実現するためには, 人間 がもっているような常識が必要である $[1,2]$. そこ で, 常識を知識グラフ化する試みがなされてきた. 構築されたグラフは, 常識知識グラフ (CommonSense Knowledge Graph, CSKG) と呼ばれ, その構築は人手 によるもの $[3,4,5]$ のみならず, GPT-3 などの大規模言語モデル (Large Language Model, LLM) によって行 われることもある [6,7]. また, CSKG で言語モデル を fine-tuning した常識モデルは, LLM よりも高い精度で常識を生成することができる $[6,8]$.

LLM によって CSKG を構築する場合, 計算機によ る生成であるため規模を大きくすることができる代 わりに, 人手による構築と比較して精度は下がる. そ こで, LLM によって構築された CSKG に対して分類 モデルによるフィルタリングを行うことで, 規模と 精度の双方を高い水準に保つ手法が提案された [6].

しかし,この分類モデルの訓練データは, 生成され

図 1 提案手法の概観.

た CSKG の一部に対して人手アノテーションで作成 されるためコストが高い. 一方で, 常識とされる知識 は言語や文化圏によって異なることがあり, 単なる 翻訳ではなく言語ごとに構築されることが望まし い. 各言語で CSKG を個別に構築する場合, 低コスト なフィルタモデルを作成することに需要がある.

本論文では, 大規模で高精度な CSKG を低コスト で構築することを目的とする. まず日本語 CSKG [7] の拡大のための分析を行い, さらなる拡大が可能で あることを示す. 大規模になるに従って適切ではな い推論の絶対数も増えると考えられる. そこで, 人手 アノテーションを用いないCSKG のフィルタリング の手法を提案する. 既存手法と比較して低コストで ありながら有効なフィルタを構築した. また, 構築し たCSKGをもとに常識モデルの検証も行う．

## 2 関連研究

英語における既存の CSKG として, 概念べースの ConceptNet [3] やイベントベースの ATOMIC [4], そ れらを統合・拡張した $\mathrm{ATOMIC}_{20}^{20}[5]$ がある.これら はすべてクラウドソーシングを用いて構築されて いる.いずれも 3 つ組で表現され, 例えば ATOMIC は(イベント,推論の関係, 推論されたイベントやメ ンタルステート)を要素としている. また, GPT-2 な ど比較的小さいモデルをこれらの CSKGをもとに fine-tuning することで常識を蓄え, 常識推論をする Transformer [9] として COMET [8] が提案されている. LLM を用いて CSKGを拡張し，それをもとに
表 1 小規模グラフのサイズを変更したときの生成された 大規模グラフのサイズの変化. 1 列目はクラウドソーシン グによって収集されたへッドとなるイベント. 2 列目以降 は HyperCLOVA により生成されたイベントや推論.

COMETを訓練する研究もある. West ら [6] は ATOMIC $_{20}^{20}$ を自動拡張した ATOMIC ${ }^{10 x}$ を構築し, 常識モデルとして GPT-2 [10] ベースの $\mathrm{COMET}_{\mathrm{TIL}}^{\mathrm{DIS}}$ を 訓練した. CSKG の自動拡張には, GPT-3 [11] などに 少数の例をショットとして与えてタスクを生成さ せる few-shot learning の手法が用いられる. さらに，生成された推論をフィルタリングするためにエン コーダモデルをフィルタとして fine-tuning する. 訓練したフィルタを拡張された CSKG に用いること で, COMET TIL は教師である GPT-3 より高精度で常識を生成できる. フィルタの訓練データは LLM によ り生成された CSKGに含まれる 10,000 個の 3 つ組を 人手でアノテーションしている.

日本語における CSKG の構築例もあり [7], 以下の 4 種類の関係からなる CSKG を構築している. また, イベント“Xが顔を洗う”に対するそれぞれの推論 の例も添える。

・xNeed あるイベントの前に人物 X がすること. (例: “X が水道で水を出す”)

・xEffect あるイベントの後に人物 X がすること. (例: “Xがタオルを準備する”)

・xIntent あるイベントの前に人物 X が思うこと. (例: “スッキリしたい”)

・xReactあるイベントの後に人物 X が思うこと． (例: “さっぱりした”)

前半の 2 つはイベント対イベントの常識で, 残りの 2 つはイベント対メンタルステートの常識である.ク ラウドソーシングを用いて小規模にイベントやそれ に対する常識推論を収集し, それらをショットとし て LLM で CSKG の大規模化を行っている. 日本語 の LLM として, HyperCLOVA [12] が使用された. た だし, 英語での研究 [6] のような LLM による拡大後 のグラフに対するフィルタリングは行っていない.

## 3 CSKG の拡大に向けた分析

本節では, 日本語での先行研究 [7] で構築された CSKG に対して追加実験を行い, 日本語 CSKG の分析とさらなる拡大を行う. 大規模グラフを生成する 際のパラメータを変更し, HyperCLOVA のもつ知識

図 2 イベントあたりの推論生成数と生成されたユニーク な推論数の関係.

がどの程度 CSKG に移行されるかを検証する. 検証 するパラメータは,クラウドソーシングで構築され た小規模グラフのサイズと,グラフを拡大する際の イベントあたりの推論の生成回数である. 実験には, HyperCLOVA JP 39B モデルを使用する.

小規模グラフのサイズ HyperCLOVA の生成の ショットとして利用する,クラウドソーシングに よって構築される小規模グラフのサイズを変更し，生成される推論数を比較する. まず, 小規模グラフの イベントをショットに 10,000 回イベントを生成す る. さらに, 小規模グラフからランダムに選んだ 3 つ 組をショットとして, 生成されたイベントに対する 推論を得る (図 1). ショット数および 1 イベントあ たりの生成回数をそれぞれ 10 回ずつに固定し,小規模グラフのイベント数を $\{100,257,392\}$ と変更した 場合に生成されたユニークな推論数を比較する.

表 1 に示すように小規模グラフのイベント数が 100 のときは生成されたイベントやユニークな推論数は相対的に小さいが, 257 と 392 のときはおよそ 同じ生成数となった.これは, HyperCLOVA の知識を CSKG に引き出すためのショットの多様性として，小規模グラフのイベント数は 250 から 300 程度で十分であることを示している.

HyperCLOVA による生成回数 先行研究 [7] では イベントあたりの推論生成回数は 10 で固定してい た.これを増やすことで, HyperCLOVA のもつ常識推論の知識を CSKG により引き出すことができると考 え,イベントあたりの生成回数を $\{5,10,50,100\}$ と 変化させ生成されるユニークな推論数を比較する。 このとき,ショットに用いる小規模グラフやショッ 卜数は固定する. 図 2 に示すように, イベントあたり の生成数に対して生成されたユニークな推論数は単調に増加した. 生成回数を増やすことで, 多様な推論 を行うことができることがわかる.

まとめると,一定以上のショットの多様性があれ ば HyperCLOVA は多様な常識推論をする能力をも

ち, 推論の生成数を増やすことで CSKG のさらなる 拡大が実現できる.イベントあたりの推論生成数を 10 から 100 に増やすことでユニークな推論数の合計 はおよそ 4 万件から 20 万件に増加した。

## 4 低コストフィルタリング

ATOMIC ${ }^{10 x}$ など $[6,7]$ では,クラウドソーシング など人手によって構築された小規模な CSKGをも とに GPT-3 や HyperCLOVA [12] などの LLM を用い て大規模な CSKG を得た. 言語モデルにより生成さ れるため, 大規模 CSKG の推論には適切ではない推論も含まれる. 3 節で, 生成回数の増加によってさ らなる拡大が可能であることがわかったが, 適切で はない推論の割合は同じでもその絶対数は増加す る.これまでの CSKG のフィルタモデルは, 人手アノ テーションにより訓練データを得ていた [6]. 常識と されるものは言語, 文化により異なるため各言語で CSKG を個別に得ることが望まれるが, 既存の方法 のコストは大きい. そこで, 人手アノテーションなし で, LLM により構築される CSKG をフィルタリング する手法を提案する. また, 日本語 CSKG における実験によりその有効性を検証する。

## 4.1 提案手法

前述の小規模グラフが人手により構築されてい ることから, 含まれる推論は適切だと仮定する. そ こで, 小規模グラフの推論をフィルタモデルの訓練 データ (正例) として扱うことで低コストでのフィル タモデルの訓練を試みる. ただし, 分類モデルの訓練 には負例も必要であるため, 同じ小規模グラフ内か ら擬似的に負例を採用する. このように小規模グラ フから訓練データを獲得し, 訓練したフィルタで大規模グラフをフィルタリングすることで追加のアノ テーションなしで高精度で大規模な CSKG を得る。

以下で, 3 種類の負例の採用方法を提案する. 以降 $G_{\text {small }}$ は, 与えられるイベント $h($ head), 推論のタイプ を示す関係 $r$ (relation) と推論 $t$ (tail) の 3 つ組 $(h, r, t)$ を要素とする小規模グラフを表す. 表 2 に訓練デー タの採用例を示す.

負例タイプ 1 時系列の間違っている負例を擬似的に採用する. 適切な 3 つ組 $(h, r, t) \in G_{\text {small }}$ が与え られたとき, $(t, r, h)$ を考えることで適切ではない推論を得る、ヘッドとテールを入れ替える必要がある ため,イベント対イベントの推論のみに用いる.

負例タイプ 2 同じ関係の 2 つの適切な 3 つ組 $\left(h_{1}, r, t_{1}\right),\left(h_{2}, r, t_{2}\right) \in G_{\text {small }},\left(h_{1} \neq h_{2}\right)$ から,$\left(h_{1}, r, t_{2}\right)$ や $\left(h_{2}, r, t_{1}\right)$ を考えることで適切ではない推論を得 る. ヘッドとテールで文脈が異なるため訓練の際は 易しい例となり得る。

負例タイプ 3 CSKGには, xIntent と xReact の ように時系列的に逆向きの関係が存在する。 あ る関係 $r$ に対して逆向きの関係を $\operatorname{inv}(r)$ と表 すと, 同じへッドに対する 2 つの適切な 3 つ組 $(h, r, t),\left(h, \operatorname{inv}(r), t^{\prime}\right) \in G_{\text {small }}$ に対して, $\left(h, r, t^{\prime}\right)$ を負例として採用できる. タイプ 2 とは異なり, 同じ文脈 の負例を得ることができる。

## 4.2 実験

提案手法の検証として, 3 節と同様に日本語 CSKG において実験を行う. 比較として, 先行研究と同様に 人手アノテーションによるフィルタモデルも訓練 し,結果を付録 A. 2 に示す.

モデルフィルタモデルは事前学習済みのエン コーダモデルを関係ごとに fine-tuning することに よって構築する. 訓練はモデルに 3 つ組を入力し， その推論が適切か適切でないかの 2 值分類タス クとして行う. 事前学習済みモデルとして日本語 RoBERTa-large ${ }^{1)}$ [13] を用いる. さらに, 先行研究 [6] に倣い, 自然言語推論 (NLI) タスクで追加訓練した モデルを使用する. 日本語の NLI データセットとし ては, JGLUE [14] に含まれる JNLIを利用する。

データ 4.1 節に従い, それぞれの関係について小規模グラフに含まれるすべての 3 つ組を正例とす る. さらに, 正例の数と同じ数になるように負例を採用する. 負例内の比について, 負例タイプ 2 はやや簡単であると考えたため 2:1:2 とする。

テストデータとして大規模グラフからランダム に抽出し, 人手でラベルを付与した 495 件の 3 つ組 を用いる. ラベル付与には Yahoo!クラウドソーシン グ2)を用い, 3 人のクラウドワーカによる多数決によ り推論が適切か否かを付与した。

結果 訓練したフィルタモデルを用いて,テスト データに対して予測を行う. クラウドソーシングで 適切と判断された推論 (1) とそうではない推論 (2) ごとに, 各推論についてモデルが適切と予測した確率の平均を表 3 に示す. すべての関係において, (1) の推論に対する予測確率の方が平均して高くなって いることが確認できる. さらに, 閾値を設けてモデル

表 2 小規模グラフから採用する訓練データの例. 各例は $(h, r, t)$ を表す.

 & (X が顔を洗う, xNeed, X が PC を起動する) \\

表 3 クラウドソーシングによって適切だとされた推論と そうでない推論に対して提案手法によるフィルタが適切 と予測した確率の平均と標準偏差. 最右列はその差.

(a) $x$ Need

(c) xIntent

(b) $x$ Effect

(d) $x$ React図 3 フィルタモデルによる確率の閾値ごとの通過した推論数 (青, 棒グラフ) と適切な推論の割合 (赤, 折れ線).

による予測確率が閾値以上となる推論のみを採用す ることでフィルタリングを行う. 図 3 にテストデー タに対して閾値ごとのフィルタを通過した推論数と その中の適切な推論の割合を示す.より高い閾値の フィルタをかけることで適切な推論の割合が高くな る傾向を確認できる. よって, 訓練したモデルがフィ ルタとしての役割をしているといえる。

3 節のようにさらに拡大したグラフに対して,こ れらのフィルタを適用することで大規模かつ高精度 な CSKG を得ることができる。

## 5 常識モデルの分析

LLM から GPT-2 などの中規模言語モデルへの常識の移行を, 3 節で分析した CSKG の特性と 4 節で 構築したフィルタの有無に着目して分析する.表 4 フィルタリングの強度 $s$ と大規模グラフのイベント あたりの推論生成数 $n$ による常識モデルの精度の変化.

訓練 日本語 GPT-2-small ${ }^{3}$ を CSKG で fine-tuning することで常識モデルを作成する。訓練デー タとして, HyperCLOVA によるイベントあたり の推論生成数 $n \in\{10,100\}$ とフィルタの強度 $s \in\{0.2,0.5,0.8,1.0\}$ によって 8 種類の CSKG を検証 する.フィルタは提案手法によるもので行い, CSKG のサイズが元の $s$ 倍になるようにモデルによる確率 の低い推論を切り捨てた. $s=1.0$ の場合はフィルタ を適用していないことを表す。

結果 作成した常識モデルにテスト用のイベント を 150 個与え,生成された推論が適切である割合で モデルの性能を検証する. 推論の評価には Yahoo!ク ラウドソーシングを使用した. 表 4 に示すように， $n=10$ の場合にはフィルタの強度が 0.5 や 0.8 のと きにフィルタなしのときの精度を上回った. 一方で， $n=100$ の場合はフィルタリングの強度による常識 モデルの精度に差は見られなかった。

元のグラフが小さい場合は, 訓練データ全体に対 する適切なものの割合と訓練データのサイズにト レードオフがあり,フィルタの強度を設定すること でモデルの訓練にも良い影響を与えたと考えられ る. 一方で元のグラフが大きい場合には, フィルタリ ングを適用しなくとも適切なデータの絶対量が十分 に存在し, 差が見られなかったものと考えられる.

## 6 おわりに

本論文では, 大規模かつ高精度な CSKG を低コス トに構築する手法を提案した. まず日本語 CSKG を 分析し, 拡大した. さらに, 小規模グラフをもとに低 コストなフィルタを訓練し，その有効性を確かめた。 また, それらに伴う常識モデルの精度も検証した。

新たな言語や知識グラフの構築の際に提案手法に よって高精度化が低コストで行われることを望む。


## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[4] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[5] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[6] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] 井手竜也, 村田栄樹, 堀尾海斗, 河原大輔, 山崎天, 李聖哲, 新里顕大, 佐藤敏紀. 人間と言語モデルに対す るプロンプトを用いたゼロからのイベント常識知識 グラフ構築. 言語処理学会第 29 回年次大会, 2023.

[8] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July
2019. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[10] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[11] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[12] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[14] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In International Conference on Language Resources and Evaluation, 2022.

## A フィルタモデル

4 節の詳細を述べる。

## A. 1 訓練の詳細

提案手法のフィルタモデルの訓練の詳細を記す。小規模グラフから採用した訓練データのサイズを表 5 に示す.

“[CLS] head [SEP] tail [SEP]" を RoBERTa に入力し, fine-tuning する. 実験は全て JNLI で追加訓練済みの モデルを利用する. JNLI は 3 值分類タスクであるた め, RoBERTa のエンコーダ部分のみを利用し, 2 値の 分類へッドを新たに追加して行う.

学習は 20 エポック行い, $\mathrm{F} 1$ 値が最も高いチェッ クポイントをモデルとして採用した. また関係ごと に, 学習率, バッチサイズとウェイトディケイについ てパラメータ探索を行った.

## A. 2 人手アノテーションによるフィルタ

比較のために, 既存の手法によるフィルタも訓練 する.フィルタリング対象である大規模グラフから ランダムに推論を選び, 人手によって適切か否かの ラベルを付与する. そのラベルをもとに RoBERTa を fine-tuning する. モデルやハイパーパラメータは提案手法によるものと同様である.

提案手法の表 3 と図 3 と同様のものを, それぞれ 表 6 と図 4 に示す. 図 4 のように確率の閾値が高く なるしたがって適切な推論の割合が高くなっている ことは確認できるが, 表 6 では提案手法ほどの差は 見られない. 提案手法と異なり, 訓練データの正負比 が偏るため予測確率も 1 に偏ったことが考えられる.

表 5 提案手法によるフィルタの訓練データ数. 関係ごと に, 正例と負例を合わせた数字を示す

表 6 クラウドソーシングによって適切だとされた推論と そうでない推論に対して, 人手アノテーションによるフィ ルタモデルが適切と予測した確率の平均と標準偏差. 最右列はそれらの差.

## A. 3 取り除かれた例

例として提案手法のフィルタによって適切である 確率が 5\%未満とされた, CSKG の3つ組を示す.

・Xが晚御飯を作っている xNeed Xが夕食を食べる

・XがYとドライブする xEffect $X$ X゙運転免許を取得する

・XがT Vを見ながらお菓子を食べる xIntent おいしい

・Xが銀行のA TMで現金を引き出す xReact お金が欲しい

## B 常識モデル

5 節の詳細を記す。

訓練は, 3 つ組 $(h, r, t)$ を連結したものをデータと して GPT-2を fine-tuning することで行う. xNeed な ど関係はモデルの語彙に存在しないため, スペシャ ルトークンとして追加しトークナイズする. どの CSKG に対しても 3 エポックの学習を行う.

テストの際は, 3 つ組のうちへッドイベントと関係を入力し, 続きを生成させることで推論（テール） を得る. 生成時のビームサーチの本数は 5 とする.

また, 表 7 に既存手法と提案手法のフィルタの比較を示す.

(a) xNeed

(c) xIntent

(b) $x$ Effect

(d) xReact図 4 人手アノテーションフィルタモデルによる確率の間値ごとの推論数 (青, 棒グラフ) と適切な推論の割合 (赤, 折 れ線).

表 7 推論生成回数 $n$ の異なる CSKG に各種フィルタを 適用し, 常識モデルを訓練したときの精度の比較. 既存手法は付録 A. 2 で訓練したもの. フィルタ強度は $s=0.8$ で 固定した。


 村田栄樹 1 井手竜也 ${ }^{1}$ 榮田亮真 1 河原大輔 1 山崎天 $^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$  }^{1}$ 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社   \{eiki.murata.1650-2951@toki., t-ide@toki.,s.ryoma6317@akane.,dkw@\}waseda.jp  \{takato.yamazaki, shengzhe.li, kenta.shinzato, toshinori . sato\}@linecorp.com 