# 人間と言語モデルに対するプロンプトを用いた ゼロからのイベント常識知識グラフ構築

井手竜也 ${ }^{1}$ 村田栄樹 1 堀尾海斗 1 河原大輔 1
山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{t-ide@toki., eiki.1650-2951@toki . , kakakakakakaito@akane. , dkw@\}waseda.jp
\{takato.yamazaki, shengzhe. li , kenta. shinzato, toshinori.sato\}@linecorp.com

## 概要

人間はなにかを理解したり推論したりするとき，常識を用いる.コンピュータにそのような常識を理解させるため，知識ベースを構築する試みがある。 しかし，高い品質の大規模なデータを低いコストで 獲得するのは難しい，本論文では，クラウドソーシ ングと大規模言語モデルの両方を用いて，ゼロから 知識グラフを構築する手法を提案する。提案手法に 従って，翻訳ではない日本語ならではの知識グラフ を構築した。さらにその知識グラフから小規模な知識モデルを訓練し，その性能について検証した。

## 1 はじめに

人間はなにかを理解したり推論したりするとき，常識を用いる．それと同じように、コンピュータが オープンドメインの QAを解いたり物語や対話を読 んだりするためには，常識が必要となる [1,2]. コ ンピュータに常識を理解させるため，それに向けた 知識ベースを構築する試みがある．多くはクラウド ソーシングによって構築される $[3,4,5]$ が，大規模 な構築には高いコストがかかる。一方，知識を自動 で獲得する手法 $[6,7]$ もあるが，高い品質の知識を 獲得するのは難しい. 近年，知識べースの構築に大規模言語モデル [8] を用いる手法 [9] も提案されて いる.

知識をクラウドワーカに記述してもらうのと大規模言語モデルに生成させるのは，どちらも少しの例 から多くの例を作成してもらうという意味で，本質的に同じことである．異なるのは人間か言語モデル かだけで，いわば後者は前者のアナロジーである。本論文では，人間と言語モデルに対するプロンプト を用いて，段階的に知識グラフを構築する手法を提

図 1 提案手法の概要

案する.

提案手法に従って，イベントに関する常識の知識グラフを構築した. Yahoo!クラウドソーシング1) と HyperCLOVA [10] を併せたゼロからの構築によっ て，英語の単なる翻訳ではない日本語ならではの知識グラフを獲得した。また人間と言語モデルに基づ く推論を比較し，傾向の違いを明らかにした. さら に構築した日本語の知識グラフから知識モデル [11] を訓練し，見たことがないイベントに対する推論の 生成について検証した。2)

## 2 関連研究

ConceptNet [3] はエンティティ同士の関係, ATOMIC [4] はイベント同士もしくはイベント とメンタルステートの関係を扱う知識グラフで ある。これらの知識はクラウドソーシングを通 して，人の手によって書かれている. ATOMIC と ConseptNet をマージして拡張した知識グラフに， ATOMIC-2020 [5] がある. また ASER [6] と TransOMCS [7] もともにイベントに関する知識グラフ だが，これらは大規模なテキストから抽出されて いる.

ConceptNet や ATOMIC はクラウドソーシング

1) https://crowdsourcing.yahoo.co.jp/

2） 構築した知識グラフとそれについて訓練した知識モデル は，公開予定である。

(a) イベント

(b) 影響の推論図 2 イベントと推論を獲得するタスクの例

によって獲得されているのに対して, ASER と TransOMCS はともに自動獲得である. 自動獲得の 場合，大規模な構築は容易だが，テキストに現れな い知識を得ることは難しい。一方，クラウドソーシ ングであれば良質なデータを集められるが，金銭的 にも時間的にもコストが高い.

大規模言語モデルがもつ常識をより小さな言語モ デルに蒸留する試み [9] がある。 そこでは GPT-3 [8] を用いて ATOMICを拡大し，RoBERTa [12]を用い てフィルタを施している.

## 3 知識グラフの構築

本論文では，クラウドソーシングと大規模言語モ デルを用いて，常識推論に関する知識グラフをゼロ から構築する手法を提案する。まずクラウドソーシ ングによって小規模な知識グラフを構築し，それを プロンプトに用いることによって，大規模言語モデ ルがもつ知識を抽出する。提案手法の概要を図 1 に 示す. クラウドソーシングだけを用いてゼロから知識グラフを構築する場合，金銭的にも時間的にもコ ストが高い. クラウドソーシングと大規模言語モデ ルを併用することで，とくに時間的なコストの削減 が期待される。

ATOMIC [4] や ASER [6] のような，イベント関 する知識グラフを日本語でゼロから構築する。一段階目のクラウドソーシングには Yahoo!クラウド ソーシング，二段階目の大規模言語モデルには HyperCLOVA [10]を用いる.

## 3.1 クラウドソーシングによる収集

まずはイベントだけを集め，続いてそれぞれのイ ベントに対する推論を集める.

イベント ある人物 $\mathrm{X}$ や周辺の人物 $\mathrm{Y}$ ，人物 $\mathrm{Z}$ に 関する日常的なイベントをクラウドワーカに記述し表 1 小規模な知識グラフの統計

てもらう．タスクの例を図2(a) に示す。タスクでは 指示と 10 個の例を与え， 1 人あたり 1 個以上のイベ ントを記述してもらう. 重複するイベントは集計時 に取り除く。

推論 獲得したイベントに対して，その前後に対 する推論をクラウドワーカに記述してもらう．推論 する関係には，ATOMIC のそれにならって以下の 4 種類を採用する. ${ }^{3)}$

1. 前にその人に起こっていただろうこと (必要)

2. 後にその人に起こるだろうこと (影響)

3. 前にその人が思っていただろうこと (意図)

4. 後にその人が思うだろうこと (反応)

イベントあたり 3 人に尋放，1 人あたり 1 個の推論を記述してもらう，タスクの例を図 2(b) に示す.重複する三つ組4)を取り除き，日本語構文解析器 $\mathrm{KNP}^{5}$ を用いて推論に構文的なフィルタを施す。6)

クラウドソーシングによって獲得したイベント と推論の統計を表 1 の最左列に示す. コストとし ては，計 547 人のクラウドワーカを雇い，その料金 は 16,844 円であった. 知識グラフの一部を表 2 に 示す.

## 3.2 クラウドソーシングによるフィルタ

獲得した推論に対して，それらの品質をクラウド ワーカに評価してもらう．推論ごとに適切かどうか を 3 人に判定してもらい，多数決をとる．推論の評価は，関係ごとに独立に行う. 適切でないと判定さ れた推論は，フィルタして除去する。

フィルタの統計は表 1 の中 2 列にある。計 465 人 のクラウドワーカを雇い，8,679 円を支払った. 判定における Inner-Annotator Agreement として計算し た Fleiss’s $\kappa$ を，表 1 の最右列に示す.

3）関係は ATOMIC のそれとまったく同じではない．たとえ ば本研究における意図は, ATOMIC における xIntent と xWant からなる.

4）本研究では，あるイベントとそれに対する推論，推論にお ける関係を(イベント,関係, 推論)という三つ組として扱う.

5) https://nlp.ist.i.kyoto-u.ac.jp/?KNP

6）主語が人物 $X$ かどうかや時制が現在かどうか，イベント は 1 文かどうかなどを判定する.

適切でないと判定された推論には，以下の傾向が あった. 一つは (X が二度蒋する, 反応, 今日は仕事 が休みだと思う)のように，前後が逆というもので あった. (Xがネットサーフィンをする, 必要, 海に 着く)のように，自然でないものもあった。

## 3.3 大規模言語モデルによる生成

HyperCLOVA Koya 39B モデルを用いて，知識グラ フを大規模に拡大する. 生成では 10 個のショット を用いて生成を行う. ショットは生成のたびにラン ダムに選ぶ.

イベント 3.1 節で獲得したイベントから，新た なイベントを生成する. ランダムに選んだ 10 個の イベントをショットとして列挙し、モデルに 11 個目を生成させる。10,000 回生成し，重複するイベン トを取り除く。

推論イベントと同じように， 3.1 節と 3.2 節で獲得した推論をショットとして，10 個の推論から 11 個目を生成する．推論は生成したイベントごとに 10 回生成し, 三つ組の単位で重複するものを取り除 く. 生成では、関係ごとに異なるプロンプトを用い る. ショットの三つ組はテンプレートを用いて自然言語に変換し，パターンマッチによってテールを抽出する．ショットのテンプレートを表 3 に示す. 抽出した推論に対して、3.1 節のフィルタを施す.

大規模言語モデルが生成したイベントと推論の統計を表 4 の最左列に示す. また生成した推論を 3.2

(a) 蓋然性

(b) 時間的な幅図 3 影響の推論に関する人間と言語モデルの傾向

節の手順で評価した結果を表 4 の右 2 列に示す. 評価は関係ごとに、生成した推論からランダムに選ん だ 500 個に対して行った. 計 409 人のクラウドワー カを雇い，その料金は 7,260 円であった. 大規模な 知識グラフの一部を表 5 に示す.

構築した知識グラフは，たとえば (Xが会社に行 く, 必要, $\mathrm{X}$ が電車に乗る)のように, 日本の文化が反映されたものとなっている.このことは，異なる言語の似たような資源をただ翻訳するのではなく，対象の言語においてゼロから構築することの意義を示 すとともに，提案する手法の価値を強調している。

## 4 知識グラフの分析

クラウドソーシングの知識グラフと大規模言語モ デルの知識グラフ，すなわち人間と言語モデルが生 み出す推論の傾向を比較する. 本研究では, 比較の 観点に蓋然性と時間的な幅を採用する．4 関係のう ち，代表として影響を検証する。

3.1 節と 3.2 節で獲得した三つ組のヘッドに対し て，3.3節の手順にしたがってテールを 3 個ずっ生成する。影響に関する 554 個の三つ組から，586 個 の推論を獲得した。

蓋然性 あるイベントの後に起こるイベントが， どれくらい起こりやすいかを見る。影響の関係にあ るイベントのペアをクラウドワーカに与え，後のイ ベントがどれくらい起こりやすいかを 3 段階で判定 してもらう．推論あたり 3 人に尋ね，回答の中央値 を採用する。

時間的な幅 あるイベントが起こってから，後に 起こるイベントが起こるまでの時間的な幅を見る.
表 5 大規模な知識グラフの例

} & 関係 & 推論 \\

表 6 知識モデルの評価

表 7 GPT-2 に基づく知識モデルの生成例

蓋然性と同じように，先のイベントが起こってから 後のイベントが起こるまでの時間幅を 5 段階で判定 してもらう． 3 人に尋ね，中央値を採用する.

それぞれの比較を図 3 に示す. 図 3(a) から，人間 が記述した推論の方がわずかに蓋然的であることが わかる. 図 3(b) では，大規模言語モデルが生成する 推論の方がより時間的に幅がある。このことから，人間は影響と聞いて比較的すぐ後に起こるイベント を推論するが，言語モデルは少し遠くのイベントを 見ると言える。

## 5 知識モデルの訓練

3 節の知識グラフを用いてイベント常識に関する 知識モデル [11]を訓練する。 大規模言語モデルがも つ知識をより小規模な知識モデルに蒸留 [9] するこ とで，それらを扱うためのコストが小さくなる.

GPT-2 [13] と T5 [14] の日本語版7) を，構築した知識グラフで Finetuningする。自動評価として，BLEU [15] と BERTScore [16] を計算する. BLEU は，日本語形態素解析器 Juman $++^{8}$ を用いて分かち書きし た単語について計算する. BERTScore は, RoBERTa [12] の日本語版9)を用いて計算する. さらに人手評

7）日本語版には，それぞれ https://huggingface.co/ nlp-waseda/gpt2-small-japanese $と$ https://huggingface. co/megagonlabs/t5-base-japanese-web を採用した.

8) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B

9) https://huggingface.co/nlp-waseda/ roberta-base-japanese価として，推論の尤もらしさをクラウドソーシング によって評価する．推論の起こりやすさを常に・よ く・たまに・決してないの 4 段階で判定してもら う. 推論あたり 5 人のクラウドワーカに判定しても らい，決してない以外の判定が過半数を上回る推論 を尤もらしいものとする。また上記の 4 段階にそれ ぞれ 3 から 0 までのスコアを割り当て, 推論ごとに 平均をとる.

知識グラフの 9 割を訓練データ，1 割をテスト データとする. テストデータに対する自動評価と人手評価の結果を表 6 に示す. 尤もらしさはどちらの 知識モデルも約 9 割で，おおむね適切な推論を生成していると言える。またすべての指標に関して， GPT-2 が T5 を上回っている. GPT- 2 に基づく知識 モデルの生成例を表 7 に示す.

## 6 おわりに

本研究では, クラウドソーシングと大規模言語モ デルの両方を用いて，ゼロから知識グラフを構築す る手法を提案した．提案した手法をもとに，Yahoo! クラウドソーシングと HyperCLOVA [10]を用いて， イベントとメンタルステートの常識に関する知識グ ラフを日本語で構築した，タスクを設計してクラウ ドワーカに記述してもらうのと，プロンプトを設計 して言語モデルに生成させるのは互いに似ているこ とから，それらの差異を調査した。さらに構築した イベントの常識に関する知識グラフから, 同様の常識に関する知識モデルを訓練した。

ゼロから知識グラフを構築する手法や，それをも とに構築した日本語の知識グラフ，あるいは訓練し た知識モデルが，コンピュータの常識推論を促進す ることを望む。

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[4] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[5] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[6] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. Aser: A large-scale eventuality knowledge graph, 2019.

[7] Hongming Zhang, Daniel Khashabi, Yangqiu Song, and Dan Roth. Transomcs: From linguistic graphs to commonsense knowledge. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 40044010. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[8] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.
[9] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro $\{$ bert $\}$ a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 生成の詳細

## A. 1 プロンプト

イベントの生成では，ランダムに選んだ 10 個の イベントをショットとして列挙する。ショットには 番号を振る.プロンプトの例を以下に示す.

1. Xがスマホでゲームする

2. Xが花に水をやる

3. XがYを飲み会に誘う

(中略)

11. Xが

推論の生成でも，ランダムに選んだ 10 個の推論 をショットとして列挙する．ただしショットは自然言語で記述し，パターンマッチによって推論を抽出 する．影響の推論を生成するプロンプトの例を以下 に示す.

1. Xがにわか雨にあう。結果として、Xが軒先 で雨宿りする。

2. Xがネットで服を買う。結果として、Xが荷物を受け取る。

3. Xが小腹を空かせる。結果として、Xが菓子 を食べる。

(中略)

11. Xが筆箱を忘れる。結果として、Xが

## A. 2 ハイパパラメータ

生成に関するハイパパラメータを以下のよう に設定する. 生成の最大トークン数を 32 とする.

Softmax では Temperature を 0.5，Top-P と Top-Kをそ れぞれ 0.8 と 0 とする. さらに Repeat Penaltyを 5.0 とする.

## B GPT-2 日本語 Pretrained モデル

知識モデルを構築するにあたって，GPT-2 [13] の日本語版 ${ }^{10)}$ を構築する. 日本語版 Wikipedia と CC-100 の日本語部分を訓練データとして，言語モ デルを学習させる.

ハイパパラメータは GPT-3 Small [8] を参考に設定する．学習率を 6e-4，Weight Decay を 0.1 とする.学習率のスケジューラを Cosine とする。 バッチサ イズは 512 で，訓練は 2 エポック（GPT-3 の約 10\%）行う。 ステップ数の $0.1 \%$ Warmup に充てる.

10）事前学習済みモデルは https://huggingface.co/ nlp-waseda/gpt2-small-japanese で公開している.

## C 知識モデルの詳細

## C. 1 手法

GPT-2 を用いる場合，関係を表す特殊トークンを イベントの後に付与し，それらを入力として推論を 生成する。一方 $\mathrm{T} 5$ では，生成する推論の関係をプ ロンプトとみなし，入力するイベントの前に記述す る. T5 におけるプロンプトを表 8 に示す.

## C. 2 ハイパパラメータ

GPT-2 と T5 の日本語版を Finetuning するにあたっ ては，共通のハイパパラメータを設定する．学習率を 2e-5，Weight Decay を 0.01 とする. Gradient Clippingとして，勾配のノルムを最大 1.0 とする. バッチサイズは 16 で，訓練は 3 エポック行う．ま た生成はすべて Greedy Search で行う.


# 事前学習済み言語モデルの知識に基づく演繹推論能力の調査

款田一真 ${ }^{1}$ 長澤春希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{kokuta.kazuma.r3, haruki.nagasawa.s8\}@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp kentaro.inui@tohoku.ac.jp

## 概要

近年，ニューラルネットワークの実用化に伴い，自然言語で記述された簡単な推論の問題に対して高 い正解率で解答することができる言語モデルが複数提案されてきた. しかしながら，ニューラル言語 モデル (LM) による推論の過程は一般的にブラック ボックスであり，LM に論理的な推論過程を再現す る能力があるかどうかは依然として疑問が残されて いる。本稿ではこの疑問に対し，訓練の過程におい てLM が，基礎的な推論能力の 1 つである演繹推論 を行う傾向があることを示すことにより，以降 LM の推論能力を調査する足掛かりとする.

## 1 はじめに

計算機を用いた論理推論の試みは，一階述語論理などの形式表現を用いたものに始まり，現代の 自然言語処理分野に至るまで議論が続く重要な議題の 1 つである. 自然言語処理分野では近年，イ ンターネットの普及による大規模言語情報の蓄積 やニューラルネットワークの実用化・大規模化に 伴い, RNN や Transformer [1] といったニューラル言語モデル (以下，LM) の基盤となるアーキテクチャ が実用化された。そして，それらの実用化に伴い， bAbI tasks [2] などの自然言語で記述された推論問題 を含むべンチマークに対し，高い性能を示すことを 目的とした LM が複数提案されてきた $[3,4,5]$. なお，これらの提案では，訓練時に与えられた推論問題のデータをもとに推論のルールを学習し, 評価時に入力された前提に対して推論を行うことがで きるといった推論能力を LM が獲得できることが前提として想定されている. しかしながら実際には， ブラックボックスである LM による推論の過程を追跡することは困難であり，ベンチマークにおける性能に関わらず，これまでに提案された言語モデルが そのような推論能力を実際に獲得できているかどう
かは未だ明らかにされていない $[6,7]$.

ここで，LM がベンチマークにおいて高い性能を 示すにも関わらず，推論能力の獲得が十分でない可能性があると考える要因としては，(1) モデルに入力として与えられる問題・解答の偏りを用いたり， (2) 入力文を推論訓練前の事前訓練によって獲得し た知識と併用したりすることにより，適切な推論過程を経ずに解答を予測する「ショートカット」が発生することが挙げられる。本研究では図 1 に示すよ うに，推論に必要な前提を，従来のベンチマークに よる手法とは異なり，モデルへの入力ではなく事前学習した知識として与えた上で，結論に関する LM の振る舞いを観察する。すなわち，LM の推論能力 のうち，ショートカットの問題が関与しない部分の 調査を行うものとした。

なお，本研究では LM の推論能力を調査する足掛 かりとして, 演繹推論 (Deductive reasoning, Deduction) に限定した調査を行った。ここで，演繹推論とは 例えば「カラスは鳥である」「全ての鳥は卵を産む」 という前提から「カラスは卵を産む」という結論を 得る推論過程である。またこの推論過程では，帰納推論 (Induction) やアブダクション (Abduction) ${ }^{1)}$ な どの他の論理推論過程と異なり，結論は与えられた 前提のみを用いて断定的に導き出すことができる。 したがって，推論訓練前の事前訓練 (マスク穴埋め など) において獲得した知識を必要としないため, ショートカットの発生と推論過程を切り分けること ができる.

## 2 関連研究

## 2.1 知識に基づく推論

事前学習した知識に基づく推論能力を調査する研究としては, Property Induction Framework [8] が挙げ られる。なお，同論文では LM の帰納推論能力 (付

1） 3 種類の論理推論の説明を付録 $\mathrm{A}$ に示す.

図 1 本研究における調査手法の概要.(a) は前提による事前学習，(b) は結論の予測能力の調査の工程をそれぞれ表して いる。また，工程 (b) における概念 hoge は工程 (a) で出現しないランダムな埋め込みを持つトークンである.

録 A)を調査対象とし，「カラスはfooできる」とい う例から，「ハトはfooできる」といった明示して いない「同じカテゴリへの汎化」が発生するかどう かに主眼を置いている。それに対し，本稿では LM の演繹推論能力を調査対象とし，断定的に導かれる べき結論を予測することができるかどうかに主眼を 置くという点で目的が異なる.

## 2.2 LM による演繹推論

本研究では, 既存の LMを対象とした演繹推論能力の調査を行うことを目的とするが，同様の目的で 行われた既存研究としては，Transformer [1] を対象 とした Soft Reasoner [6] が挙げられる. しかしなが ら同論文では推論に必要な前提の情報をモデルの入力として与えていることから，先述のようなショー トカットの問題が発生しうることが考えられる。ま た同論文中では，本稿において「推論能力」と定義 したような振る舞いをしているかどうかについては 未解決であることが記されている.

## 3 調査手法

## 3.1 用語の定義

本稿で用いるいくつかの重要な用語を定義する。

上位下位関係 ある概念 $c$ がその上位概念 $h$ に属す ることを表す関係，あるいはその関係を記述した文 " $c$ is a $h$ ".

例 : ・"sparrow is a bird"

概念の性質 ある概念 $c$ あるいは上位概念 $h$ が性質 $p$ を持つことを表す関係，あるいはその関係を記述 した文“ $h p$ ”または“ “ $p$ ”.
例 : ・ "bird can grow"
- "sparrow can grow"

前提 演繹推論において，前提として与えられる事象.「上位下位関係」あるいは「上位概念の性質」で 記述される.

例 : - "sparrow is a bird" - "bird can grow"

結論 演繹推論において，与えられた「前提」から 導き出される事象.「上位でない概念の性質」で記述される.

例 : ・ "sparrow can grow"

これらの定義に従うと, 演繹推論は与えられた 「前提」から「結論」を導き出す推論過程と言える。

## 3.2 手法の概要

本研究では，事前学習した前提に関する知識をも とに，LM が結論を演繹的に導き出す振る舞いをど の程度できるかを調査する，調査の手順として，初 めに (a) 推論に必要な前提の集合で LM の事前学習 を行い，その後 (b) それに基づく結論を予測する能力の調査を行う. より具体的には, 図 1 に示すよう に，工程 (a)では与えられた前提の真偽に関する二値分類問題を LM ができるだけ正しく予測できるよ うになるまで学習させ, 工程 (b) では新しく追加学習させた上位下位関係に対して事前学習した上位概念の性質を演繹的に汎化する傾向がみられるかどう かを調査する。なお，工程 (a) および工程 (b) で行っ た実験の詳細については，それぞれ続く4 節および 5 節で説明を行う.

## 3.3 調査対象のモデル

本研究の実験では，調査対象のモデルとして，マ スク穴埋め問題によって事前学習された Transformer ベースのモデルのうち, ALBERT XXLarge v2 [9], BERT large (uncased) [10], RoBERTa large [11] の 3 種
類を選択した. これらのモデルを使用することで，分類問題用のヘッドを用いてモデル内のパラメータ を訓練したのち，ヘッドをマスク穴埋め用のものに 付け替えることでモデルが保有する知識の変化をマ スク穴埋め問題を用いて観察することができる。な お，この観察を行った結果は付録 B に示す.

## 4 前提による事前学習

この工程では，前提の真偽に関する二値分類問題 のデータセットを作成し, LM の事前学習を行った. この節の各小節では, そのデータセットの作成手順，訓練時の実験設定，および LM が与えた前提を どの程度記憶することができたかの評価について説明していく。

## 4.1 事前学習データセットの生成

図 1 (a) に “pre-train set” として示す，前提の真偽 に関する二値分類問題のデータセット (以下，事前学習データセット)を作成した手順を以下に示す.

## データの準備

前提の真偽に関するデータを作成するためには， その構成要素である「上位概念の性質」および「上位下位関係」を定義する必要がある。

本実験ではこれらの定義に，Misra らが Property Induction Framework [8] の実験において作成した概念 の性質を記述したデータセット, および WordNet [12] が提供する上位語の情報を利用した。なお前者は， Misra らが Property Induction Framework [8] の実験 において作成した, Cambridge Centre for Speech, Language, and the Brain が収集した concept property norms データセット [13] からデータ間の矛盾や不正確なデータを除いたデータセットである。なお，こ のデータセットを用いる上で行った前処理を付録 C に示す.

## 上位下位関係

Misra らが作成したデータセットに含まれる概念 (および対応する WordNet の語義情報) と WordNet の 上位語の情報をもとに，概念に対する上位概念を定義した. また，新しく定義した上位概念にも同様に 上位概念を定義していき，概念の上位下位関係を表 す木構造を作成した.これにより，Misra らが定義 した 521 件の概念に対し, 新しく 454 件の上位概念 が定義された. また，作成された木構造の高さは

図 2 上位下位関係の木構造

17，上位概念に対する下位概念数は平均 2.04 ，最大 15 となった. その一部を図 2 に示す.

## 上位概念の性質

本実験では上位概念の性質を定義する必要がある が，上位概念は上記の方法で新しく定義された概念 であることから, Misra らが作成した概念の性質を 記述したデータセットではそれらの性質を定義する ことができない.

ここで，演繹推論の定義から，ある性質について，下位概念での真偽が全て一致する場合, 上位概念で の真偽も一致することを導き出せる (付録 D) ことを 利用し，ある上位概念 $h$ の全ての下位概念 $c$ がある 性質 $p$ を持つ (持たない) 場合，その上位概念 $h$ も性質 $p$ を持つ(持たない)ものとして定義した.

## 生成したデータ

上記で作成した上位下位関係と上位概念の性質は 組み合わせで生成されるため全体数が大きく，また 真偽によってデータ数に大きな偏りがある. そのた め，上記の方法で生成したデータの一部を次のよう にサンプリングすることにより，上位下位関係の真偽の偏りが小さく，かつ全てのデータが他のいずれ かのデータと組み合わせることで演繹推論における 前提を構成することができるような事前学習データ セットを作成した.

・以下の手順を $10 \mathrm{k}$ 回繰り返す、ただし，サンプ リングは全て一様分布に従う.

1. “ $c$ is a $h$ ” の真偽 $l_{\mathrm{ch}}$ を $\{$ True, False $\}$ からサンプル

2. 性質 $p$, 上位概念 $h$ を 1 件ずつサンプル

3. (“ $c$ is a $h$ ”, $l_{\mathrm{ch}}$ ) となる概念 $c$ を 1 件サンプル

4. (“ $c$ is a $\left.h ", l_{\mathrm{ch}}\right),\left(" h p ", l_{\mathrm{hp}}\right)$ の 2 件をデータに追加 (ただし， $l_{\mathrm{hp}}$ は上位概念の性質の真偽)

・そして最後に重複したデータを削除した。

結果，生成されたデータは，(“c is a $h ”$, True) が 1,576 件, (“ $c$ is a $h$ ”, False) が 9,740 件, (“ $h p$ ”, True)
表 1 事前学習の結果

が 3,973 件，(“h $h$ ”, False) が 14,791 件の合計 30,080 件となった。また，このデータを 8:1:1 の割合で分割し，訓練，検証，およびテスト用データとした.

## 4.2 実験設定

上記の方法で生成した訓練データを用いて LM の 訓練を行った. なお，本実験では前提の真偽を LM に記憶させることが目的であるため，訓練時の loss を基準に Early Stopping を行った. より具体的には 訓練の終了条件を, 訓練時の loss が 3 回連続で最良値を更新できなかった場合に終了とした.

## 4.3 結果

訓練した 3 種類の LM のそれぞれについて，訓練終了時の epoch 数と訓練データに対する正解率を表 1 に示す. 結果，全ての LM について正解率が $99 \%$ を超えていることから，それぞれのLM は与えられ た前提の真偽を概ね正確にパラメータ中に保存する ことができたと言える.

## 5 結論の予測

この工程では，LM が保存した前提の情報をも とに結論を予測する能力の調査を行った.ここ で調査方法の一つとして, 事前学習時と同様に Misra らの作成した概念の性質のデータセット (例 : (“sparrow can grow”, True)) に対する正解率を予測能力の指標として評価する方法が考えられる. しかし ながらこの方法では，LM には訓練時に上位概念の 性質のデータ (例：(“bird can grow”, True))を用いた 訓練を行なっていることから，概念-上位概念間の 埋め込みの類似度によりショートカットが発生する ことが考えられる.

そのため本実験では，図 1 (b) に示すように，訓練時に用いられない，ランダム初期化された埋め 込みを持つ新概念 hoge を用いた調査を行った. 全 ての上位概念 $h$ に対して, 新概念の上位下位関係 “hoge is a $h$ ” の有無を記述したデータ 1 件を LM が 正しく予測できるようになるまで訓練し (平均 2.31 epochs)，その後，新概念の性質 “hoge $p$ ” の有無を予表 2 新概念の性質の予測結果

測した。そして，その予測が新概念の上位下位関係 の訓練の前後でどの程度変化したかを調査した.

ここで，LM が新しい上位下位関係のデータの学習において演繹的な振る舞いをすると仮定した場合，新概念の性質は上位概念の性質と真偽の予測が 一致するようになることが考えられる. そのため, “hoge $p$ ” に対応する正解ラベル (真偽) $l$ を上位概念 の性質 “ $h p$ ”の真偽と同じ値として定義した.

なお，前提による事前学習において，LM は概念 の性質の有無についてデータ数に偏りがあるデータ セットによって訓練されているため, $l$ が偽の場合，正解率が高くなる傾向がある．そのため本実験にお ける評価指標には再現率を用いるものとした。

## 5.1 結果

訓練した 3 種類の LM のそれぞれについて, 新概念の性質を予測した結果を表 2 に示す.

結果, 全ての LM について訓練後に再現率が増加 していることが確認できた. したがって LM が事前学習した前提の知識をもとに，新概念の性質を対応 する上位概念の性質から演繹的に汎化する傾向があ ることが示せた.

## 6 おわりに

本研究では，LM の推論能力の調査を行う足掛か りとして，事前学習した知識に基づく LM の推論能力の調査を行い, 調査対象の LM が推論のショート カットの発生を抑制する実験設定においても演繹的 に振る舞う傾向にあることを示した。

また, 本研究の今後の課題としては, パラメータ がランダムに初期化された LM を対象とするなど，事前学習した前提以外の影響がより少ない状態での 調査を行うことや，事前学習後にアブダクションな どの断定的でない推論の影響がどの程度生じている かといった調査を行うことを考えている．また，訓練の過程における新概念の埋め込みの変化を観察す るなど，本研究で示した演繹的な振る舞いが発生し た要因についても調査を進めていく所存である.

## 謝辞

本研究は JSPS 科研費 $21 \mathrm{~K} 17814$ および JST, CREST，JPMJCR20D2 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[2] Jason Weston, Antoine Bordes, Sumit Chopra, and Tomás Mikolov. Towards ai-complete question answering: A set of prerequisite toy tasks. In Yoshua Bengio and Yann LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016.

[3] Minjoon Seo, Sewon Min, Ali Farhadi, and Hannaneh Hajishirzi. Query-reduction networks for question answering. In International Conference on Learning Representations, 2017.

[4] Hung Le, Truyen Tran, and Svetha Venkatesh. Selfattentive associative memory. In International Conference on Machine Learning, pp. 5682-5691. PMLR, 2020.

[5] Soumya Sanyal, Harman Singh, and Xiang Ren. FaiRR: Faithful and robust deductive reasoning over natural language. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1075-1093, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI'20, 2021.

[7] Zhangdie Yuan, Songbo Hu, Ivan Vulic, Anna Korhonen, and Zaiqiao Meng. Can pretrained language models (yet) reason deductively? ArXiv, Vol. abs/2210.06442, , 2022.

[8] Kanishka Misra, Julia Taylor Rayz, and Allyson Ettinger. A property induction framework for neural language models. ArXiv, Vol. abs/2205.06910, , 2022.

[9] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. ArXiv, Vol. abs/1909.11942, 2019.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, nov 1995.

[13] Marco Baroni, Stefan Evert, and Alessandro Lenci. Esslli 2008 workshop on distributional lexical semantics. Hamburg, Germany: Association for Logic, Language and Information, 2008.
表 3 論理推論

 &  & 「カラスは卵を産む」 & Yes \\

## A 論理推論

3 種類の論理推論について，それぞれの具体例お よび結論が断定的に定まるかどうかを表 3 に示す.

## B LM が持つ知識の変化

本研究の実験において調査したLM はいずれもマ スク穴埋め問題によって事前学習されたモデルであ るため，そのパラメータ中には正解のトークンを予測するため「知識」を保存していることが考えられ る. しかしながら, 本研究の実験において LM が推論によって得る結論は与えた前提のみに基づくこと を想定しているため，その「知識」は推論の結果に 大きく影響しないことを前提としている。

そこで，事前学習データセットに含まれるデータ の最後の単語を [MASK] に置き換えたマスク穴埋め 問題を作成し, LM が予測するトークンの確率分布 が (i) 事前学習の前後 (ii) 新概念の上位下位関係の学習の前後でどの程度変化するかを, top- $k$ の平均の 一致率を用いて調査した. 結果を表 4 に示す. ただ し, (ii) は新概念の上位概念によって訓練後の LM のパラメータがそれぞれ異なるため，そのうちの 10 個をサンプリングした全体の平均を求めた.

その結果, 事前学習の前後では， 30,000 トークン のうち上位 1,000 件の予測結果を比較しても予測さ れるトークンの一致率が $9.69 \%$ と，マスク穴埋め問題のための「知識」の多くが失われている可能性が あることが確認できた。一方で，新概念の上位下位関係の学習は 1 つのデータを平均 2.31 epochs 学習さ せているだけにも関わらず，予測結果の上位 1,000 件のうち $24.09 \%$ が変化しているなど，大きな影響 が生じていることが確認できた。

表 4 知識の変化

## C 概念の性質

Misra らが作成した概念の性質のデータセッ トは，ある概念についてそれが持っている性質 (“c p”, True) については網羅的に記述しているも のの，ある概念についてそれが持っていない性質 (“c p”, False)については (“c p”, True) をもとに一定数をネガティブサンプリングしたものとなってい るため網羅的には記述されていない。上位概念の性質は下位概念の性質によって決まるため, 本実験で は (“c p”, False) が網羅的に記述されている必要があ る.そのため, データセットのうち (“c p”, True) だ けを利用し，(“c p”, False) のデータをその補集合と して再定義した. その結果，概念は 521 件，性質は 3,734 件, (“c p”, True) は 23,107 件, (“c $p$ ”, False) は $521 \times 3,734-23,107=1,922,307$ 件となった.

## D 上位概念の性質の定義

演繹推論の過程は, 概念を $c$, 上位概念を $h$, 性質 を $p$ とすると次のように表せる.

$
\left.\{\begin{array}{l}
\forall c " c \text { is a } h " \wedge " h p " \Rightarrow c c p \\
\forall c " c \text { is a } h " \wedge \neg " h p " \Rightarrow \neg c c p "
\end{array}\right.
$

また，これは次式と同値である.

$
\left.\{\begin{array}{l}
\forall c " c \text { is a } h " \wedge \neg " c p " \Rightarrow \neg " h p " \\
\forall c " c \text { is a } h " \wedge " c p " \Rightarrow " h p "
\end{array}\right.
$

したがって，ある性質について下位概念の真偽が全 て一致する場合, 上位概念の性質の真偽も一致す る. そのため, ある上位概念 $h$ の全ての下位概念 $c$ がある性質 $p$ を持つ (持たない) 場合, その上位概念 $h$ も性質 $p$ を持つ (持たない) ものとして定義した.


# Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction

Qin Dai ${ }^{* 1}$ Benjamin Heinzerling ${ }^{* 2,1} \quad$ Kentaro Inui ${ }^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN AIP
qin.dai.b8@tohoku.ac.jp benjamin.heinzerling@riken.jp
kentaro.inuidtohoku.ac.jp
}

\begin{abstract}
Bi-encoder architectures for distantly-supervised relation extraction aim to use complementary information from texts and knowledge graphs (KG). However, current architectures suffer drawbacks. They either do not share information between text and KG encoders at all, or, in case of models with KG-to-text attention, only share information in one direction. Here, we introduce cross-stitch bi-encoders, which allow bi-directional information sharing between text and KG encoders via a cross-stitch mechanism. Cross-stitching enables sharing and updating representations between the two encoders, with the degree of sharing controlled by cross-attention gates. Experiments on relation extraction benchmarks show that bi-directional sharing between encoders yields strong improvements. ${ }^{1)}$
\end{abstract
## 1 Introduction

Identifying semantic relations between textual mentions of entities is a key task for information extraction systems. For example, consider the sentence:

(1) Aspirin is widely used for short-term treatment of pain, fever or colds.

Assuming an inventory of relations such as may_treat or founded_by, a relation extraction (RE) system should recognize the predicate in (1) as an instance of a may_treat relation and extract a knowledge graph (KG) triple like (AsPIRIN, may_treat, PAIN). RE systems are commonly trained on data obtained via Distant Supervision (DS) [1]: Given a KG triple, i.e., a pair of entities and a relation, one assumes that all sentences mentioning both

1) Code and data: www.github.com/cl-tohoku/xbe * Equal contribution entities express the relation and collects all such sentences as positive examples. DS allows collecting large amounts of training data, but its assumption is often violated:

(2) Nursing diagnoses acute pain related to aspirin use and variants in the radiotherapy group ...

(3) Elon Musk and SpaceX engineers embark on a historic mission to return NASA astronauts to ...

Sentence (2) and (3) are false positive examples for may_treat and founded_by relation respectively, since they are not about a treatment and founding a company. We refer to false positive examples like (2) and (3) as noisy sentences.

A common approach for dealing with noisy sentences is to use the KG as a complementary source of information. Models taking this approach are typically implemented as bi-encoders, with one encoder for textual input and one encoder for KG input. They are trained to rely more on the text encoder when given informative sentences and more on the KG encoder when faced with noisy ones $[2,3$, 4, 5, 6, 7]. However, current bi-encoder models suffer from drawbacks. Bi-encoders that encode text and KG separately and then concatenate each encoder's output, as illustrated in Figure 1a and proposed by [7], i.a., cannot share information between the text encoder and the KG encoder during encoding. In contrast, Bi-encoders whose text encoder can attend to the KG encoder's hidden states, as illustrated in Figure $1 \mathrm{~b}$ and proposed by [2, 4, 3], i.a., do allow information to flow from the $\mathrm{KG}$ encoder to the text encoder, but not in the opposite direction.

Here, we propose a cross-stitch bi-encoder (XBE, Figure 1c) that addresses both of these drawbacks by enabling information sharing between the text encoder and KG encoder at arbitrary layers in both directions. Concretely, we equip a bi-encoder with a cross-stitch component [8]

(a) Concatenation of encoder representations

(b) Uni-directional attention from KG-encoder to textencoder

(c) Cross-stitch bi-encoder

Figure 1: Illustration of existing and proposed bi-encoder architectures for distantly-supervised relation extraction. Simple concatenation of representations (a) does not allow information sharing between text and KG encoders, while KG-to-text attention (b) only allows sharing in one direction. In contrast, our model (c) allows bi-directional information sharing between encoders during the encoding process.

to enable bi-directional information sharing and employ a gating mechanism based on cross-attention $[9,10]$ to dynamically control the amount of information shared between the text encoder and KG encoder. As we will show, allowing bi-directional information sharing during the encoding process, i.e., at intermediate layers, yields considerable performance improvements on two relation extraction benchmarks covering two different domains and achieves state of the art results on a widely used dataset.(§5.1)

## 2 Task Formulation

Given a corpus of entity-linked sentences and KG triples $\left(e_{1}^{k}, r^{k}, e_{2}^{k}\right)$, distant supervision (DS) yields a bag of sentences $B^{k}=\left.\{s_{1}^{k}, \ldots, s_{n}^{k}\right.\}$ where each sentence $s_{i}^{k}$ mentions both entities in the pair $\left(e_{1}^{k}, e_{2}^{k}\right)$. Given the entity pair $\left(e_{1}^{k}, e_{2}^{k}\right)$ and the sentence bag $B^{k}$, a DS-RE model is trained to predict the $\mathrm{KG}$ relation $r^{k}$.

## 3 Proposed Model

The cross-stitch bi-encoder (XBE) model is designed to enable bidirectional information sharing among its two encoders. As illustrated in Figure 1c, it consists of a text encoder, a KG encoder, and a cross-stitch component controlled by cross-attention. The following subsections describe these components.

## 3.1 Bi-Encoder

To obtain representations of inputs belonging to the two different modalities in DS-RE, we employ a bi-encoder architecture consisting of one encoder for textual inputs

Figure 2: Illustration of the cross-stitch mechanism in combination with cross-attention. See $\S 3.2$ for notation.

and one encoder for KG triples. While the cross-stitch component is agnostic to the type of encoder, we use pretrained Transformer models [10] for both text and KG.

## 3.2 Cross-stitch (X-stitch)

To enable bi-directional information sharing between the two encoders, we employ a cross-stitch ${ }^{2)}$ mechanism based on [8]. The mechanism operates by mixing and updating intermediate representations of the bi-encoder. We dynamically control the amount of mixing via gates based on cross-attention (Figure 2). More formally, our cross-stitch variant operates as follows. Given a sen-
$-stitch in tables and figures.
}
tence $s=\left(t o k_{1}, \ldots, t o k_{N}\right)$ and corresponding KG triple $t=\left(e_{1}, r, e_{2}\right)$, the text encoder generates sentence representations $S_{i} \in \mathbb{R}^{N \times d}$ and the KG encoder triple representations $T_{i} \in \mathbb{R}^{3 \times d}$. We then compute cross-attentions $A$ in two directions, triple-to-sentence $(t 2 s)$ and sentence-totriple $(s 2 t)$, via Equations 1 and 2,

$
\begin{aligned}
& A^{t 2 s}=\operatorname{softmax}_{\text {column }}\left(\left(W_{p}^{t 2 s} \cdot T_{i}\right) \cdot S_{i}\right) \\
& A^{s 2 t}=\operatorname{softmax}_{\mathrm{row}}\left(S_{i} \cdot\left(W_{p}^{s 2 t} \cdot T_{i}\right)^{T}\right)
\end{aligned}
$

where, $W_{p}^{s 2 t} \in \mathbb{R}^{d \times d}$ and $W_{p}^{t 2 s} \in \mathbb{R}^{d \times d}$ denote trainable linear transformations. The triple-to-sentence attention $A^{t 2 s}$ represents the weight of the embedding of each token in triple $t$ that will be used to update the sentence representation $S_{i}$ :

$
T_{i}^{t 2 s}=W_{g 2}^{t 2 s} \cdot \operatorname{Re} L U\left(W_{g 1}^{t 2 s} \cdot\left(A^{t 2 s} \cdot T_{i}^{T}\right)\right)
$

where $W_{g 1}^{t 2 s} \in \mathbb{R}^{d^{\prime} \times d}$ and $W_{g 2}^{t 2 s} \in \mathbb{R}^{d \times d^{\prime}}$ are trainable parameters. Next, a gating mechanism determines the degree to which the original textual representation $S_{i}$ will contribute to the new hidden state of the text encoder:

$
\mathbf{G}_{i}^{t 2 s}=\sigma\left(T_{i}^{t 2 s}\right)
$

where, $\sigma$ denotes the logistic sigmoid function. We then update the hidden state of the text encoder at layer $i$ by interpolating its original hidden state $S_{i}$ with the triple representation $T_{i}^{t 2 s}$ :

$
S_{i}^{\prime}=\mathbf{G}_{i}^{t 2 s} \cdot S_{i}+\lambda_{t} \cdot T_{i}^{t 2 s}
$

Information sharing in the sentence-to-triple direction is performed analogously:

$
\begin{gathered}
S_{i}^{s 2 t}=W_{g 2}^{s 2 t} \cdot \operatorname{Re} L U\left(W_{g 1}^{s 2 t} \cdot\left(\left(A^{s 2 t}\right)^{T} \cdot S_{i}\right)\right) \\
\mathbf{G}_{i}^{s 2 t}=\sigma\left(S_{i}^{s 2 t}\right) \\
T_{i}^{\prime}=\mathbf{G}_{i}^{s 2 t} \cdot T_{i}+\lambda_{s} \cdot S_{i}^{s 2 t}
\end{gathered}
$

where $\lambda_{t}$ and $\lambda_{s}$ are weight hyperparameters. Having devised a general architecture for text-KG bi-encoders, we now turn to implementing this architecture for distantly supervised relation extraction.

## 4 XBE for Relation Extraction

In distantly supervised relation extraction, the automatically collected data consists of a set of sentence bags $\left.\{B^{1}, \ldots, B^{n}\right.\}$ and set of corresponding KG triples $\left.\{\left(e_{1}^{1}, r^{1}, e_{2}^{1}\right), \ldots,\left(e_{1}^{n}, r^{n}, e_{2}^{n}\right)\right.\}$. To create training instances, we mask the relation in the $\mathrm{KG}$ triples $\left.\{\left(e_{1}^{1},[\mathrm{M}], e_{2}^{1}\right), \ldots,\left(e_{1}^{n},[\mathrm{M}], e_{2}^{n}\right)\right.\}$ and provide these masked triples as input to the $\mathrm{KG}$ encoder, while the text encoder receives one sentence from the corresponding sentence bag. If the sentence bag contains $k$ sentences, we pair each sentence with the same KG triple and run the bi-encoder for each pairing, i.e., $k$ times, to obtain a sentence bag representation. During training, the loss of the model is calculated via Equations 9, 10 and 11,

$
\begin{gathered}
L=L_{R E}+w \cdot L_{K G} \\
L_{R E}=-\sum_{k=1}^{n} \sum_{i=1}^{\left|B^{k}\right|} \log P\left(r^{k} \mid\left[\mathbf{s}_{i}^{k} ; \mathbf{r}_{h t} ; x_{e_{1}^{k}} ; x_{e_{2}^{k}}\right]\right) \\
L_{K G}=-\sum_{k=1}^{n} \log g\left(\left(e_{1}^{k},[\mathrm{M}], e_{2}^{k}\right)\right)
\end{gathered}
$

where $w \in(0,1]$ is a weight hyperparameter, $P(x)$ is the predicted probability of the target relation over a set of predefined relations, ; denotes vector concatenation, $\mathbf{r}_{h t}$ is an additional $\mathrm{KG}$ feature vector obtained from a pre-trained KG completion model such as TransE [11], $x_{e^{k}}$ is entity embedding from the $\mathrm{KG}$ encoder, $L_{K G}$ is the loss of $\mathrm{KG}$ relation prediction and $g(x)$ outputs the predicted probability of the masked KG token based on its embedding from the KG encoder. During inference, we follow [7] and use the mean of sentence embeddings as the bag embedding:

$
P\left(r^{k} \mid B^{k}\right)=\left(\sum_{i=1}^{\left|B^{k}\right|} P\left(r^{k} \mid\left[\mathbf{s}_{i}^{k} ; \mathbf{r}_{h t} ; x_{e_{1}^{k}} ; x_{e_{2}^{k}}\right]\right)\right) /\left|B^{k}\right|
$

## 5 Experiments

Please see Appendix ( $\S$ A.1) for details on Data and Settings and (§A.2) on Baseline Models.

## 5.1 Results

The Precision-Recall (PR) curves of each model on Medline21 and NYT10 datasets are shown in Figure 3 and Figure 4, respectively. We make two main observations: (1) Among the compared models, BRE+KA and BRE+CE, are strong baselines because they significantly outperform

Figure 3: PR curves on Medline21.

Figure 4: PR curves on NYT10.

Table 1: P@N and AUC on Medline21 and NYT10 datasets $(\mathrm{k}=1000)$, where †represents that these results are quoted from [12], $\neq$ indicates the results using the pre-trained model, $\star$ indicates the results are obtained by re-running corresponding codes and $*$ indicates using the OpenNRE [13] implementation.

other state-of-the-art models especially when the recall is greater than 0.25 , demonstrating the benefit of combining a pre-trained language model (here: BERT) and a KG for DS-RE. (2) The proposed XBE model outperforms all baselines and achieves the highest precision over the entire recall range on both datasets. Table 1 further presents more detailed results in terms of AUC and $\mathrm{P} @ \mathrm{~N}$, which shows improved performance of XBE in all testing metrics. In particular, XBE achieves a new state-of-the-art on the commonly used NYT10 dataset, indicating that the proposed model can make better use of the combination of KG and text for DS-RE. Please see Appendix for Ablation Study(§A.3).

## 6 Conclusions and Future Work

We proposed a cross-stitch bi-encoder architecture, $\mathrm{XBE}$, to leverage the complementary relation between KG and text for distantly supervised relation extraction. Experimental results on both Medline21 and NYT10 datasets prove the robustness of our model because the proposed model achieves significant and consistent improvement as compared with strong baselines and achieve a new state-ofthe-art result on the widely used NYT10 dataset. Possible future work includes a more thorough investigation of how communication between KG encoder and text encoder influences the performance, as well as a more complex KG encoder that can not only handle relation triples, but arbitrary KG subgraphs, which could have applications in, e.g., multi-hop relation extraction.

## Acknowledgements

This work was supported by JST CREST Grant Number JPMJCR20D2 and JSPS KAKENHI Grant Number 21K17814.

## References

[1] Mike Mintz, Steven Bills, Rion Snow, and Dan Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 2-Volume 2, pp. 1003-1011. Association for Computational Linguistics, 2009.

[2] Xu Han, Zhiyuan Liu, and Maosong Sun. Neural knowledge acquisition via mutual attention between knowledge graph and text. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[3] Ningyu Zhang, Shumin Deng, Zhanlin Sun, Guanying Wang, Xi Chen, Wei Zhang, and Huajun Chen. Long-tail relation extraction via knowledge graph embeddings and graph convolution networks. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3016-3025, 2019.

[4] Linmei Hu, Luhao Zhang, Chuan Shi, Liqiang Nie, Weili Guan, and Cheng Yang. Improving distantly-supervised relation extraction with joint label embedding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 38213829, 2019.

[5] Qin Dai, Naoya Inoue, Paul Reisert, Takahashi Ryo, and Kentaro Inui. Incorporating chains of reasoning over knowledge graph for distantly supervised biomedical knowledge acquisition. In Proceedings of the 33nd Pacific Asia Conference on Language, Information and Computation (PACLIC33), pp. 19-28, Hakodate, Japan, 2019. Waseda Institute for the Study of Language and Information.

[6] Qin Dai, Naoya Inoue, Ryo Takahashi, and Kentaro Inui. Two training strategies for improving relation extraction over universal graph. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 3673-3684, 2021.

[7] Zikun Hu, Yixin Cao, Lifu Huang, and Tat-Seng Chua. How knowledge graph and attention help? a qualitative analysis into bag-level relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4662-4671, 2021.

[8] Ishan Misra, Abhinav Shrivastava, Abhinav Gupta, and Martial Hebert. Cross-stitch networks for multi-task learning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3994-4003, 2016.

[9] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio.
Neural machine translation by jointly learning to align and translate. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[11] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in neural information processing systems, pp. 27872795, 2013.

[12] Christoph Alt, Marc Hübner, and Leonhard Hennig. Finetuning pre-trained transformer language models to distantly supervised relation extraction. arXiv preprint arXiv:1906.08646, 2019.

[13] Xu Han, Tianyu Gao, Yuan Yao, Deming Ye, Zhiyuan Liu, and Maosong Sun. OpenNRE: An open and extensible toolkit for neural relation extraction. In Proceedings of EMNLP-IJCNLP: System Demonstrations, pp. 169-174, 2019.

[14] Sebastian Riedel, Limin Yao, and Andrew McCallum. Modeling relations and their mentions without labeled text. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp. 148-163. Springer, 2010.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[16] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[17] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. Neural relation extraction with selective attention over instances. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 2124-2133, 2016.

[18] Xu Han, Pengfei Yu, Zhiyuan Liu, Maosong Sun, and Peng Li. Hierarchical relation extraction with coarse-tofine grained attention. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2236-2245, 2018.

[19] Shikhar Vashishth, Rishabh Joshi, Sai Suman Prayaga, Chiranjib Bhattacharyya, and Partha Talukdar. Reside: Improving distantly-supervised neural relation extraction using side information. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1257-1266, 2018.

Table 2: Statistics of datasets in this work, where $\mathbf{R}$ and $\mathbf{E P}$ stand for the target Relation and Entity Pair, $\#_{1} / \#_{2}$ represent the number of training and testing data respectively.

Table 3: Hyperparameters used in our proposed XBE model. The experiments (Medline21) are conducted on Nvidia Titan X(Pascal) GPU, and the experiments (NYT10) are conducted on a NVIDIA GeForce GTX 1080 TI GPU.

## A Appendix

## A. 1 Data and Settings

We evaluate our model on the biomedical dataset introduced by [6] (hereafter: Medline21) and the NYT10 dataset [14] Statistics for both datasets are summarized in Table 2. Medline21 dataset contains 582,686 KG triples and NYT10 does 335, 350 triples.

As done by [7], the text encoder ( $\$ 3$ ) for experiments on NYT10 is initialized with the pre-trained weights from the bert-base-uncased variant of BERT [15]. The text encoder for Medline21 is initialized with BioBERT [16] and the KG encoder ( $\$ 3$ ) is pre-trained using each dataset's corresponding KG triples, as mentioned above. Hyperparameters used in our Model are listed in Table 3.

## A. 2 Baseline Models

To demonstrate the effectiveness of the proposed model, we compare to the following baselines. Baselines were selected because they are the closest models in terms of

Table 4: Performance comparison of XBE with different ablated components (non-cumulative) on Medline21 and NYT10 datasets $(\mathrm{k}=1000)$.

integrating $\mathrm{KG}$ with text for DS-RE and/or because they achieve competitive or state-of-the-art performance on the datasets used in our evaluation: JointE [2], which is a joint model for $\mathrm{KG}$ embedding and $\mathrm{RE}$, where the $\mathrm{KG}$ embedding is utilized for attention calculation over a sentence bag, as shown in Figure 1b, RELE [4], which extends the JointE via entity definitions, BRE+KA [7], which is a version of the JointE model that integrates BERT, and BRE+CE [7], which is a BERT and KG embedding based model, where BERT output and the KG triple embedding are concatenated as a feature vector for DS-RE, as shown in Figure 1a.

In addition to the models above, we select the following baselines for further comparison: PCNN+ATT [17], PCNN+HATT [18], RESIDE [19] and DISTRE [12].

## A. 3 Ablation Study

We ablate the three main model components in order to assess the contribution to overall performance. Results are shown in Table 4, where "- X-stitch" is the model without the cross-stitch mechanism, "- KG enc." denotes removing the KG encoder, and "- text enc." removing the text encoder. We observe that performance drops for all ablations, indicating that each component is important for the model when performing DS-RE. While the impact of ablating the text encoder is by far the largest, removing the cross-stitch component or the $\mathrm{KG}$ encoder results in performance that is comparable to the performance of the strongest baseline, BRE+CE, on both datasets. This suggests that these two components, i.e., the KG encoder and the cross-stitch mechanism allowing sharing of information between the text and KG encoder, are what enables our model to improve over BRE+CE.


# 文書レベル関係抽出における根拠認識の統合

Youmi Ma An Wang 岡崎直観
東京工業大学
\{youmi.ma@nlp., an.wang@nlp., okazaki@\}c.titech.ac.jp

## 概要

文書レベル関係抽出（DocRE）は文書中のすべて のエンティティの組の関係を推定するタスクであ る.この関係抽出に必要最小限かつ十分な情報を含 む文の集合を根拠と呼ぶ。根拠は関係抽出の性能を 改善できるが，既存研究では DocRE と根拠認識を 別々のタスクとしてモデル化していた. 本稿では,根拠認識を関係抽出のモデルに統合する手法を提案 する。 さらに，根拠のアノテーションが付与されて いないデータに根拠の疑似的な教師信号を付与し，大量の自動ラベル付けデータを活用する方法を提案 する. 提案手法は DocRED において DocRE と根拠認識の両方で現時点の世界最高性能を達成した ${ }^{11}$.

## 1 はじめに

関係抽出はテキストにおけるエンティティ（実体）の関係を認識するタスクである。関係抽出で は，文内に閉じて関係を認識するタスク設定の 研究が多く $[1,2,3,4,5]$, テキスト中で複数の文 にまたがって表現される関係は対象外となって しまうため，適用範囲が狭いという課題があっ た [6]. これに対して, 複数の文で言及される関係 にも対応したタスク，すなわち文書レベル関係抽出（DocRE: Document-level Relation Extraction）が提案された $[6,7,8]$. DocRE では，複数の文の情報の 取捨選択や統合をしながらエンティティ間の関係を 推定する必要がある $[9,10,11]$.

DocRE において情報の取捨選択に用いられるの が根拠 (evidence) である。根拠は，関係を推定する ために必要最小限かつ十分な情報を含む文の集合 と定義され，DocRE で広く用いられるデータセッ 卜 DocRED [6] でもラベル付けされている. 図 1 の 例では, Prince Edmund と Blackadder における関係 present in work を認識するための必要最小限かつ十
公開している。

 \\

図 1 DocRED [6] のアノテーションの例。斜体は関係を 予測したいエンティティの言及（メンション）であり，下線はその他のエンティティの言及である.

分な情報は文 1 と 2 であるため，この関係の根拠 は文 1 と 2 とラベル付けされる. 既存研究では， DocRE のサブタスクとして根拠認識に取り組み，エ ンティティ組の関係を推定する際に必要な情報の取捨選択を行うことが多かった $[6,9,10,12]$.

既存研究では，DocRE と根拠認識を別々の夕 スクとしてモデル化しているため $[9,10,12]$, 両 タスクの関連性を考慮できない。これに対し，本稿では DocRE と根拠認識のモデルを統合した新手法として，Document-level Relation Extraction with Evidence-guided Attention Mechanism (DREEAM) を提案する．DREEAM では，根拠を単語や文の重要度 に関する情報としてテキストのエンコーダに統合す る. 具体的には，BERT [13] などの事前学習済み言語モデルのエンコーダにおける自己注意機構 [14] へ の教師信号として根拠を導入し，根拠に高い重みを 配分するように誘導しながら DocRE のモデルを学習する。これにより，文書レベル関係抽出から根拠認識モデルを削除し，パラメータ数の削減や推論時 のメモリ使用量の低減も実現できる。

なお，文書レベルの関係アノテーションはコスト が高いため，学習データが不足しがちな状況にあ る. 表 1 に示すように，現時点で最大規模のデー タセットである DocREDでも，人手でラベルが付
表 1 DocRED [6] データセットの統計情報

与された文書は 5,051 件しかない. DocRED では データ不足を緩和するため，関係ラベルを Distant Supervision [15] を用いて自動付与しているが，根拠 ラベルの自動付与は行われていない. 本研究では,提案手法である DREEAM を用いて根拠の疑似的な 教師信号を自動的に付与し, 大量の自動ラベル付与 データを活用する．最終的に，提案手法は DocRED において DocRE と根拠認識の両方で現時点の世界最高性能を達成した。

## 2 予備知識

## 2.1 タスクの定義

DocRE の目的は, 文 $X_{D}=\left.\{x_{i}\right.\}_{i=1}^{\left|x_{D}\right|}$ からなる文書 $D$ における全てのエンティティ $\mathscr{C}_{D}=\left.\{e_{i}\right.\}_{i=1}^{\left|\mathscr{D}_{D}\right|}$ の 組が持つ関係を推定することである。文書 $D$ にお けるエンティティ $e \in \mathscr{E}_{D}$ の言及（メンション）を $M_{e}=\left.\{m_{i}\right.\}_{i=1}^{\left|\cdot M_{e}\right|}$ とし, エンティティの組 $\left(e_{s}, e_{o}\right)$ が持 つ全ての関係から成る集合を $\mathscr{R}_{s, o} \subseteq \mathscr{R}$ とする. た だし， $\mathscr{R}$ は関係ラベルの集合である. $\left(e_{s}, e_{o}\right)$ の間 に関係 $r \in \mathscr{R}$ が存在する場合, $\left(e_{s}, r, e_{o}\right)$ に関する根拠を $\mathscr{V}_{s, r, o} \subseteq X_{D}$ で表す. 根拠認識の目的は，全て の関係抽出における根拠を認識すること，すなわち $\left(e_{s}, r, e_{o}, \mathscr{V}_{s, r, o}\right)$ を得ることである.

## 2.2 ベースモデル: ATLOP

提案手法のベースとなる手法 ATLOP [16] を説明する。まず，各エンティティの言及の冒頭と 末尾に特殊トークン「*」を挿入したトークン列 $\mathscr{T}_{D}=\left.\{t_{i}\right.\}_{i=1}^{\left|\mathcal{F}_{D}\right|}$ を BERT [13] などを用いてエンコード する. エンコーダの出力から，トークンの分散表現 $\boldsymbol{H} \in \mathbb{R}^{\left|\mathcal{T}_{D}\right| \times d}$ と自己注意機構の重み ${ }^{2)} \boldsymbol{A} \in \mathbb{R}^{\left|\mathcal{I}_{D}\right| \times\left|\mathscr{I}_{D}\right|}$ を記録し，前者をトークン埋め込み，後者をトーク ン間の依存度と呼ぶ（ $d$ はエンコーダの隠れ層の次元数である).

次に，エンティティ埋め迄みを計算する。言及

2）マルチヘッド自己注意の全ヘッドの平均として計算する. $M_{e}=\left.\{m_{i}\right.\}_{i=1}^{\left|M_{e}\right|}$ を持つエンティティ $e$ に対して，埋め 込み $\boldsymbol{h}_{e} \in \mathbb{R}^{d}$ を $\boldsymbol{h}_{e}=\log \sum_{i=1}^{\left|. M{ }_{e}\right|} \exp \left(\boldsymbol{h}_{m_{i}}\right)$ と計算する. ただし， $\boldsymbol{h}_{m_{i}} \in \mathbb{R}^{d}$ は言及 $m_{i}$ の開始位置に挿入した 特殊トークン「*」の埋め込みである。これにより， エンティティ $e_{s}, e_{o}$ の埋め込み $\boldsymbol{h}_{s}, \boldsymbol{h}_{o} \in \mathbb{R}^{d}$ を得る.

さらに，エンティティの組 $\left(e_{s}, e_{o}\right)$ に対する局所文脈埋め迄みを計算する。局所文脈埋め込みは文書 $D$ における全トークンの埋め込みの重み付き和であ り, 重みは $e_{s}, e_{o}$ 両方に対する重要度を反映する. トークンの重要度は，トークン間の依存度 $\boldsymbol{A}$ の強 さとする。具体的には，エンティティ $e_{s}$ の各言及 $m_{i} \in M_{e_{s}}$ と他のトークンの依存度から $\boldsymbol{a}_{s} \in \mathbb{R}^{\left|\mathcal{I}_{D}\right|}$ を 求める. ここで $\boldsymbol{a}_{s}$ は全ての $\boldsymbol{a}_{m_{i}} \in \mathbb{R}^{\left|\mathscr{T}_{D}\right|}$ の平均であ り， $\boldsymbol{a}_{m_{i}}$ は $m_{i}$ の冒頭にある「*」に対応する $\boldsymbol{A}$ のス ライスである. 同様に $\boldsymbol{a}_{o} \in \mathbb{R}^{\left|\mathcal{T}_{D}\right|}$ を求め, $\left(e_{s}, e_{o}\right)$ に 対する各トークンの重要度 $\boldsymbol{q}^{(s, o)} \in \mathbb{R}^{\left|\mathfrak{T}_{D}\right|}$ および局所文脈埋め込み $\boldsymbol{c}^{(s, o)} \in \mathbb{R}^{d}$ を, 式 1 と 2 で求める.

$
\begin{aligned}
& \boldsymbol{q}^{(s, o)}=\frac{\boldsymbol{a}_{s} \circ \boldsymbol{a}_{o}}{\boldsymbol{a}_{s}^{\top} \boldsymbol{a}_{o}} \\
& \boldsymbol{c}^{(s, o)}=\boldsymbol{H}^{\top} \boldsymbol{q}^{(s, o)}
\end{aligned}
$

ただし。は要素ごとの積である. 局所文脈埋め込み は重要度の高い箇所に注目した分散表現であること から，異なる文の情報を効果的に統合できる。

最後に， $\left(e_{s}, e_{o}\right)$ の関係分類を行う. 関係分類器 の入力はエンティティ埋め込みと局所埋め込みを統合した分散表現で, $\boldsymbol{z}_{s}=\tanh \left(\boldsymbol{W}_{s}\left[\boldsymbol{h}_{s} ; \boldsymbol{c}^{(s, o)}\right]+\boldsymbol{b}_{s}\right) \in$ $\mathbb{R}^{d}$ と計算する. ここで $[\cdot ; \cdot]$ はべクトルの連結, $\boldsymbol{W}_{s} \in \mathbb{R}^{d \times 2 d}, \boldsymbol{b}_{s} \in \mathbb{R}^{d}$ はパラメータである. $z_{o} \in \mathbb{R}^{d}$ も同様に計算し, 全関係ラベルのスコア を $\boldsymbol{y}^{(s, o)}=\boldsymbol{z}_{s}^{\top} \mathrm{W}_{r} z_{o}+\boldsymbol{b}_{r} \in \mathbb{R}^{|\mathscr{R}|}$ で計算する. ただし $\mathrm{W}_{r} \in \mathbb{R}^{|\mathscr{R}| \times d \times d}, \boldsymbol{b}_{r} \in \mathbb{R}^{|\mathscr{R}|}$ はパラメータである. エ ンティティ $e_{s}, e_{o}$ の間の関係 $r \in \mathscr{R}$ の確率推定は $P(r \mid s, o)=\operatorname{sigmoid}\left(y_{r}^{(s, o)}\right)$ として計算される.

ATLOP の学習は適応間値損失 (ATL: Adaptive Threshold Loss）に基づく.すなわち，間值に対応す る仮想的な関係ラベル TH を導入し，エンティティ 組 $\left(e_{s}, e_{o}\right)$ に存在する関係ラベルのスコアは THより 高く, 存在しない関係ラベルのスコアは TH より低 くなるようにモデルを学習する。

## 3 提案手法

ATLOP では関係推定に重要なトークンに注目し て情報を統合するため，局所文脈埋め込みを採用 し, BERT の自己注意機構がエンティティ組 $\left(e_{s}, e_{o}\right)$ に対するトークンの重要度 $\boldsymbol{q}^{(s, o)}$ を暗黙的に学習で

図 2 DREEAM の概要

きると仮定した. 本研究では，根拠を用いて $\boldsymbol{q}^{(s, o)}$ の教師信号を与えることを提案し，根拠認識の関係抽出モデルへの統合，および関係抽出の性能向上を 目指す (§3.1). さらに根拠の教師信号を自動で付与し，データ不足の緩和を目指す（§3.2）.

## 3.1 DREEAM

提案手法である DREEAM の概要を図 2 に示す.自己注意機構から計算されるトークン重要度と根拠 から計算される分布が近づくように誘導し, 根拠に 基づいた局所文脈埋め込みが得られると期待する。

根拠分布の算出 あるエンティティ組 $\left(e_{s}, e_{o}\right)$ が持つ関係 $r \in \mathscr{R}_{s, o}$ 毎に, 根拠べクトル $\boldsymbol{v}^{(s, r, o)} \in$

り, 文 $x_{i} \in X_{D}$ が関係 $\left(e_{s}, r, e_{o}\right)$ の根拠である時に $v_{i}^{(s, r, o)}=1$ とする. さらに, 全ての関係 $\forall r \in \mathscr{R}_{s, o}$ に おける根拠べクトル $\boldsymbol{v}^{(s, r, o)}$ から, 関係ラベルに依存しない根拠の分布 $\boldsymbol{v}^{(s, o)}$ を次式で求める.

$
\boldsymbol{v}^{(s, o)}=\frac{\sum_{r \in \mathscr{R}_{s, o}} \boldsymbol{v}^{(s, r, o)}}{\sum_{r \in \mathscr{R}_{s, o}} \mathbf{1}^{\top} \boldsymbol{v}^{(s, r, o)}}
$

ティ組 $\left(e_{s}, e_{o}\right)$ に関する文の重要度を全関係ラベル 共通に根拠のアノテーションから求めている.

根拠分布を用いた学習 自己注意機構によるトー クン重要度 $\boldsymbol{q}^{(s, o)}$ を文の重要度 $\boldsymbol{p}^{(s, o)} \in \mathbb{R}^{\left|X_{D}\right|}$ に変換する。トークン列 $t_{\mathrm{START}\left(x_{i}\right)}, \ldots, t_{\mathrm{END}\left(x_{i}\right)}$ からなる 文 $x_{i} \in X_{D}$ に対し, その重要度を和

$
p_{i}^{(s, o)}=\sum_{j=\operatorname{START}\left(x_{i}\right)}^{\operatorname{END}\left(x_{i}\right)} q_{j}^{(s, o)}
$

として計算する. ただし $p_{i}^{(s, o)}$ は $\boldsymbol{p}^{(s, o)}$ の $\mathrm{i}$ 番目の 要素の值である。そして，根拠アノテーションから 得られる文の重要度 $\boldsymbol{v}^{(s, o)}$ を教師信号とし，自己注意機構から計算される文の重要度 $\boldsymbol{v}^{(s, o)}$ が近くなる ように，カルバック・ライブラー距離（ $\left.D_{\mathrm{KL}}\right)$ によ

図 3 DREEAM による自動ラベル付けデータの活用方法

る損失関数を導入する（式 5 ）.

$
\mathscr{L}_{\mathrm{ER}}=-D_{\mathrm{KL}}\left(\boldsymbol{v}^{(s, o)} \| \boldsymbol{p}^{(s, o)}\right)
$

モデルのパラメータ推定に用いる損失関数として，根拠抽出の損失関数と式 5 の和を採用することで，関係抽出と根拠認識を同時に学習する。

推論 関係抽出では ATLOP と同様に，適応的間値を採用する．各エンティティ組 $\left(e_{s}, e_{o}\right)$ の関係ラ ベルのスコアを計算し，仮想的な閾値ラベル TH よ り高いスコアを持つラベルを関係として出力する。根拠認識では静的な閾値（付録 A 参照）を採用し， $\boldsymbol{p}^{(s, o)}$ が閾値より高い文を根拠として出力する.

## 3.2 根拠の教師信号の自動付与

DREEAM ではエンコーダの自己注意機構から計算されるトークン重要度に基づいてエンティティ組 の関係の予測に役立つ箇所（根拠）を推定できる. ところで，1節で述べたように，DocRED には人手で 付与された少量のデータの他に，Distant Supervision で関係ラベルを自動付与した大量のデータがある が，根拠のラベルが付与されていない. そこで， DREEAM から推定される根拠の応用として, DocRE の根拠の教師信号の自動付与を行い，大量の自動ラ ベル付けデータを活用する方法を提案する。

その概要を図 3 に示す. Tan ら [17] に倣い，教師 と学生の二つのモデルを学習する. 教師モデルの役割は，根拠の正解ラベル付けデータから根拠認識に 関する知識を獲得し，根拠のラベルが無いデータに 根拠の疑似的な教師信号を自動付与することであ る.これは，図 3 のステップ 1 と 2 で実現される.学生モデルは，手動および自動で付与された根拠の ラベル付けデータから DocRE と根拠認識のモデル を学習する（図 3 のステップ 3 と 4 ).

疑似根拠分布を用いた学習 根拠の正解ラベルで 学習した教師モデルを用い，まだ根拠のラベル付 けがされていないデータにおけるエンティティ組
$\left(e_{s}, e_{o}\right)$ のトークンの重要度 $\hat{\boldsymbol{q}}^{(s, o)}$ を予測・記録し，根拠の疑似的な教師信号とする。学生モデルのトー クン重要度 $\boldsymbol{q}^{(s, o)}$ を疑似的な根拠 $\hat{\boldsymbol{q}}^{(s, o)}$ に近づける ことで，根拠抽出を学習する（式 6).

$
\mathscr{L}_{\mathrm{ER}}=-D_{\mathrm{KL}}\left(\hat{\boldsymbol{q}}^{(s, o)} \| \boldsymbol{q}^{(s, o)}\right)
$

## 4 実験と考察

## 4.1 実験結果

DREEAM を DocRED [6] で評価した結果を表 2 に 示す. 実験設定の詳細は付録 $\mathrm{A}$ に示す.

## 人手のラベル付けデータだけでモデルを学習する

場合 DREEAM は EIDER [10] に匹敵する性能を示 した. DREEAM と SAIS [12] の間では性能の差があ るが，これはマルチタスク学習によるものと考えら れる3)。なお，DREEAM は根拠認識を DocRE のエ ンコーダに統合したため, 根拠認識モデルが不要と なり，学習・予測時のメモリ使用量を大幅に削減で きた（詳細な結果は付録 $\mathrm{B}$ を参照されたい）.

## 人手に加えて自動でラベル付けしたデータも用 いてモデルを学習する場合 提案手法 (DREEAM*) は関係抽出において SSAN* [18] や KD-DocRE* [17] の性能を上回り，このデータセットにおける最高性能を達成した. これらの既存研究も自動でラベル付 けした訓練データを用いているため，提案手法の優位性が示唆される。また，根拠認識においても，提案手法は既存手法の最高性能モデル SAIS [12]を大 きく上回った.これにより，提案した根拠の教師信号の自動付与手法が DocRE と根拠認識の両方で有効であることが示された.

## 4.2 分析

本研究の提案事項の貢献度合いを調べるため，ア ブレーション実験を行った結果を表 3 亿示す4).

教師モデル 教師モデルを学習する際に根拠認識 の学習（式 5）を無効化し，性能に与える影響を調 べた. 表 3 の通り，関係抽出と根拠認識の両方にお いて性能の低下が見られる。㳊に，DocREのエン コーダの自己注意機構を根拠で誘導することは，関係抽出にも有益であることが示唆される。

3） SAIS は DocRE と根拠認識以外にも, 共参照解析等の多夕 スクでモデルを学習し，豊富な教師信号を活用している。

4）表 2 の DREEAM* と表 3 (b) の DREEAM は同じ実験設定で あるが，表 2 の実験では RoBERTalarge [19]を，表 3 の実験で は $\mathrm{BERT}_{\text {base }}[13]$ をエンコーダとして用いているため，性能 に差が現れる。表 2 DocREDでの関係抽出と根拠認識の性能. *が付い $\frac{\text { ている行は自動でラベル付けしたデータを学習に用いた. }}{\text { 検証データ }}$

表 3 DocRED の検証データでのアブレーション実験

学生モデル 疑似的な教師信号による根拠認識の 学習 (式 6), および手動でラベル付けしたデータに よる根拠認識の学習（式 5）の片方および両方を無効化し，タスクの性能に与える影響を調べる。表 3 から，疑似根拠による根拠認識の学習を無効化する と，DocRE と根拠認識ともに性能が低下することが 分かる。一方，人手でラベル付けした根拠データに よる根拠認識の学習を無効にしても，性能への影響 は限定的であった。これにより，根拠認識に関する 知識が教師モデルから学生モデルに期待通り引き継 がれていることが示唆される.

## 5 おわりに

本稿では，文書レベル関係抽出において根拠を活用する手法を提案した. 関係抽出器のエンコーダの 自己注意機構において，関係予測の根拠に高い重み を配分するように誘導する DREEAM を提案した。続いて，DocREにおけるデータ不足問題を緩和する ため，根拠ラベルの持たないデータを活用する手法 を提案した. DocRED データセットで評価したとこ ろ，提案手法は関係抽出および根拠認識の両方の夕 スクで現時点での世界最高性能を達成した。

今後は，根拠認識による関係抽出の説明可能性の 検討や，長い文書において情報の統合や取捨選択を 要する他タスクへの DREEAM の適用，日本語の文書レベル関係抽出の研究に取り組みたい。

## 謝辞

この成果は、国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです。

## 参考文献

[1] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel. The automatic content extraction (ACE) program - tasks, data, and evaluation. In Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04), Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[2] Xu Han, Hao Zhu, Pengfei Yu, Ziyun Wang, Yuan Yao, Zhiyuan Liu, and Maosong Sun. FewRel: A large-scale supervised fewshot relation classification dataset with state-of-the-art evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4803-4809, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[4] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[5] Christoph Alt, Aleksandra Gabryszak, and Leonhard Hennig. TACRED revisited: A thorough evaluation of the TACRED relation extraction task. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 15581569, Online, July 2020. Association for Computational Linguistics.

[6] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. DocRED: A large-scale document-level relation extraction dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Jiao Li, Yueping Sun, Robin J. Johnson, Daniela Sciaky, ChihHsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J. Mattingly, Thomas C. Wiegers, and Zhiyong Lu. BioCreative V CDR task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, , 05 2016. baw068.

[8] Patrick Verga, Emma Strubell, and Andrew McCallum. Simultaneously self-attending to all mentions for full-abstract biological relation extraction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872-884, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[9] Quzhe Huang, Shengqi Zhu, Yansong Feng, Yuan Ye, Yuxuan Lai, and Dongyan Zhao. Three sentences are all you need: Local path enhanced document relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on
Natural Language Processing (Volume 2: Short Papers), pp. 998-1004, Online, August 2021. Association for Computational Linguistics.

[10] Yiqing Xie, Jiaming Shen, Sha Li, Yuning Mao, and Jiawei Han. Eider: Empowering document-level relation extraction with efficient evidence extraction and inference-stage fusion. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 257-268, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Wang Xu, Kehai Chen, Lili Mou, and Tiejun Zhao. Documentlevel relation extraction with sentences importance estimation and focusing. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2920-2929, Seattle, United States, July 2022. Association for Computational Linguistics.

[12] Yuxin Xiao, Zecheng Zhang, Yuning Mao, Carl Yang, and Jiawei Han. SAIS: Supervising and augmenting intermediate steps for document-level relation extraction. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2395-2409, Seattle, United States, July 2022. Association for Computational Linguistics.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[15] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[16] Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. Document-level relation extraction with adaptive thresholding and localized context pooling. In Proceedings of the AAAI Conference on Artificial Intelligence, 2021.

[17] Qingyu Tan, Ruidan He, Lidong Bing, and Hwee Tou Ng. Document-level relation extraction with adaptive focal loss and knowledge distillation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1672-1681, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[18] Benfeng Xu, Quan Wang, Yajuan Lyu, Yong Zhu, and Zhendong Mao. Entity structure within and throughout: Modeling mention dependencies for document-level relation extraction. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 16, pp. 14149-14157, May 2021.

[19] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro\{bert\}a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019 .

## A 実験設定

4 節の実験設定を説明する. DREEAM は ATLOP [16] をべースとしているが，トークン埋め込み $\boldsymbol{H}$ とトークン間依存度 $\boldsymbol{A}$ の計算方法が異なる. 2.2 節で述べたように, ATLOP はエンコーダの出力層 のみから $\boldsymbol{H}$ と $\boldsymbol{A}$ を計算するのに対し, DREEAM は エンコーダの上部 3 層の平均で $\boldsymbol{H}$ と $\boldsymbol{A}$ を求める.

モデルの学習 根拠認識が DocRE のモデルに与 える影響を調整するため，損失関数 $\mathscr{L}_{\mathrm{ER}}$ に係数を かけてから関係抽出の損失との和を計算し, 全体の 損失関数とした。具体的には，BERT base を用いたモ デルでは係数を $0.1, \mathrm{RoBERTa}_{\text {large }}$ を用いたモデルで は係数を 0.05 とした. なお，パラメータの更新に は Adam [20]を採用した。その他のハイパー・パラ メータの値を表 4 に示す.

モデルによる関係抽出と根拠認識 関係抽出で は，各エンティティの組 $\left(e_{s}, e_{o}\right)$ における間値ラべ ル THより高い関係ラベルを予測結果とする．根拠認識では, 重要度 $p_{i}^{(s, o)}$ が 0.2 より高い文を予測とする。 さらに，根拠認識の結果を活用するた め, 予測融合を行う [10]. 具体的には, 予測結果 $\left(e_{s}, r, e_{o}, \mathscr{V}_{s, r, o}\right)$ 毎に，根拠 $\mathscr{V}_{s, r, o}$ のみからなる部分文書 $\hat{D}_{s, r, o}$ を構成し, 関係抽出を行う. 最終的な関係抽出結果は, 元文書 $D$ と全ての部分文書におけ る予測から算出する。詳細な説明は原著論文 [10]を 参照されたい。評価指標は DocRED に従い，関係抽出と根拠認識の F1 スコアとする。本稿では，検証・評価データから訓練データとの重複を取り除いたう えで，F1 スコアを計測している [6]. なお，全ての スコアは，5つの異なるランダムシードを用いてモ デルを初期化し，学習した結果の平均である.

## B パラメータ数及びメモリ使用量

従来研究では，根拠認識に特化したモデルを設計 し, DocRE とは別に根拠認識器を適用することが 多い。このとき，各文がエンティティ組の関係判断 の根拠となる確率を計算するため，全ての文とエ ンティティ組を列挙しなければならない. 例えば EIDER [10] では, 文 $x_{i}$ がエンティティの組 $\left(e_{s}, e_{o}\right)$ の関係予測の根拠である確率を式 7 で求める.

$
\mathrm{P}\left(x_{i} \mid e_{s}, e_{o}\right)=\operatorname{sigmoid}\left(\boldsymbol{x}_{i}^{\top} \boldsymbol{W} \boldsymbol{c}^{(s, o)}+b\right),
$

ただし $\boldsymbol{x}_{i} \in \mathbb{R}^{d}$ はトークン埋め込みから得た文 $x_{i}$ の 埋め込み, $\boldsymbol{c}^{(s, o)} \in \mathbb{R}^{d}$ は $\left(e_{s}, e_{o}\right)$ における局所文脈埋表 4 実験に用いたハイパー・パラメータ

(教師) (学生) （学生）

表 5 パラメータ数及び推論時のメモリ使用量

 &  \\

ATLOP [16] & & \\
SSAN [18] & 115.4 & 10.8 \\
KD-DocRE [17] & 113.5 & 6.9 \\
根拠認識の学習あり & 200.1 & 15.2 \\
EIDER [10] & & \\
SAIS [12] & 120.2 & 43.1 \\
DREEAM & 118.0 & 46.2 \\

め込みであり， $\boldsymbol{W} \in \mathbb{R}^{d \times d}$ と $b \in \mathbb{R}$ はパラメータであ る. 例えば $n$ 個の文からなる文書に $m$ 個のエンティ ティがあるとすると，式 7 の演算を $n \times m \times(m-1)$回行うため, 特に $n$ や $m$ が大きい場合は, 膨大なメ モリを消費する。

一方，DREEAM は根拠認識をエンティティの組 のエンコーダに組み込み，根拠はエンコーダから 計算した文の重要度を用いて直接推定できるため,根拠認識器を外部に用意する必要がない。 よって,式 7 による確率の計算が不要となり，パラメータ $\boldsymbol{W}$ と $b$ を導入せずに済む。

DREEAM と既存手法のパラメータ数およびメモ

揃えた．DREEAMを根拠認識モデルの学習を行う 既存手法と比較すると，モデルのパラメータ数は既存研究よりも低く抑えられることが確認できる。ま た，推論時のメモリ使用量に関しては，DREEAM は EIDER [10] の 27.4\%, SAIS の 25.5\%まで抑えるこ とが可能で，既存手法に対して大きなアドバン テージとなる。なお，根拠認識モデルを学習しない KD-DocRE [17] と比較しても，DREEAM のパラメー 夕数およびメモリ使用量は少ないことが分かる．以上のことから，DREEAM は既存手法よりも少ない パラメータ数およびメモリ使用量で，既存手法の同等以上の性能を達成できることが分かる.


# NTCIR-17 QA Lab-Polilnfo-4 のタスク設計

小川泰弘 ${ }^{1}$ 木村泰知 2,3 渋木 英潔 4 乙武北斗 5 内田ゆず 6
高丸圭一 ${ }^{7}$ 門脇一真 8 秋葉友良 9 佐々木稔 10 小林暁雄 11

\begin{abstract}
1 名古屋大学 2 小樽商科大学 3 理化学研究所 ${ }^{4}$ BESNA 研究所 9 豊橋技術科学大学 10 茨城大学 11 農業・食品産業技術総合研究機構 ${ }^{1}$ yasuhiro@is.nagoya-u.ac.jp $\quad{ }^{2}$ kimura@res.otaru-uc.ac.jp
\end{abstract}
5 福岡大学 6 北海学園大学 7 宇都宮共和大学 8 株式会社日本総合研究所

## 概要

我々は，QA や自動要約などの自然言語処理の アプローチにより政治情報の信憑性の問題を解決 するためのシェアードタスクである NTCIR-17 QA Lab-PoliInfo-4（以下，PoliInfo-4）を開催している. PoliInfo-4 では，議会会議録などを対象として四つ のタスク, Question Answering-2, Answer Verification, Stance Classification-2, Minutes-to-Budget Linking を設計した。本稿では，本タスクの概要について述 べる.

## 1 はじめに

近年，政治に関するフェイクニュースが社会的な 問題になっている. 特に 2016 年のアメリカ大統領選挙においては，信憑性の低い情報がソーシャルメ ディアを介して拡散され，選挙の結果に影響を与え たと言われている. 現在において，そうした情報が 民意の形成に偏りを生じさせることが懸念されてい る.また，政治家の発言自体も信憑性や根拠が曖昧 な場合が多く，近年，政治家の発言に対するファク トチェック $[1,2,3]$ の必要性も高まっている.

そこで我々は，自然言語処理技術を用いて政治に 関するフェイクニュースの検出やファクトチェック に関する問題を解決することを目指している.

近年, EuroParl Corpus [4] や UK Hansard corpus ${ }^{1)}$ な どが，政治に関わる自然言語処理研究のための言語資源として利用されている $[5,6,7,8]$. しかしなが ら現在のところ, 日本語を対象とした研究データが 少ないことに加えて, 議会における議員の発言を対象とした研究や，議会における政策形成のための議論を対象とした研究は進んでいない.

1) https://www.english-corpora.org/hansard/例えば，ソーシャルメディアで拡散されるテキス トと政治家の実際の発言が同一であるか検証する フェイクニュース検出技術や，政治家の発言に適切 な根拠があるかを検証するファクトチェックを実現 するためには，議会における議員の発言から必要な 箇所を抜き出して要約したり，発言文字列と外部の 言語資源とを関連付ける機構が必要不可欠である. そこで，我々は地方政治に関わる言語資源として地方議会会議録コーパスの整備に取り組んできた [9]. さらに，そうして収集・整備した議会会議録コーパ スを活用して，議論の要約や，発言内容と根拠とな る一次情報との結びつけ，発言者の態度（賛否）と いった研究を進めるために，評価型ワークショップ NTCIR においてシェアードタスクQA Lab-PoliInfo を行っている． 2018 年から 2019 年前半にかけて実施された NTCIR-14 QA Lab-PoliInfo [10, 11] において は, Segmentation, Summarization, Classification の三 つのタスクを実施した。その後，NTCIR-15におい て QA Lab-PoliInfo-2 [12] を，NTCIR-16 においてQA Lab-PoliInfo-3 [13] を実施し，現在は NTCIR-17 にお いて，QA Lab-PoliInfo-4 を実施している。 それらで 実施されたタスク間の関係を図 1 に示す.

PoliInfo-4では, 四つのタスク, Question Answering-

図 1 QA Lab-PoliInfo におけるタスクの推移

図 2 QA Lab-PoliInfo-4 の各タスクの関係

2, Answer Verification, Stance Classification-2, Minutesto-Budget Linking を設計した. 図 2 に各タスク間の 関係を示す。本稿では，以下の各節において，それ ぞれのタスクの概要について述べていく。

## 2 Question Answering-2

Question Answering-2 タスク（以下 QA）は NTCIR16 QA Lab-PoliInfo-3 における Question Answering タ スクと同じタスクであり，議会会議録に対する質問 に簡潔な回答を返すことを目的とする.

議会における質問と答弁は会議録として記録さ れ，ウェブ上で公開されている。今回は東京都都議会本会議の会議録を対象とする。

通常の質問応答においては，一問一答，すなわち 質問を 1 件したらそれに対する答弁があり，引き続 き次の質問をする形式が想定される. しかし，都議会本会議においては，一括質問一括答弁という形式 がとられている. これは最初に質問者が複数の質問 をまとめてした後に，答弁者がまとめて答弁すると いう形式である. また，その場合に複数の担当者が 答弁することもあり，質問の順番と答弁の順番が一致しないことが多い. また，質問の背景や答弁の根拠など述べられているため，質問や答弁自体も長 い. そのため，会議録中からユーザが求める質問の 回答を探すのは容易ではない.

東京都議会が発行する『都議会だより』において は，そうした質問と答弁の要約が対応付けられた形
で掲載されており，都民への分かりやすい情報提供 に努めている。『都議会だより』は，議会事務局の 職員が作成していることから，人手による「正解の 要約」とみなすことができる．しかし，『都議会だ より』に掲載されるのは質問の一部にすぎない.

そこで本タスクでは，簡潔な質問を入力した場合，それに対する答弁の要約を返すシステムの構築 を目指す. 具体的には，まずシステムにはあらかじ め都議会会議録のデータが与えられている. そこ に，『都議会だより』に掲載された質問の要約を入力とする．その際には，質問の発言者やそれに対す る答弁者などの情報も与える．それを元に，システ ムは会議録中から質問の答弁となる箇所を発見し， それを要約したものを返す。評価においては，『都議会だより』に掲載された答弁の要約をゴールド データとして ROUGE の值を計算するとともに，人手による判定も実施する.

このタスクは Watson [14] などの質問応答システ ムとは以下の 2 点で異なる. 1 点目は，回答を探索 する際に外部知識にアクセスする必要はなく，あく まで会議録における答弁が正解である点が異なる。 そのため，会議が異なれば同じ質問に対して異なる 答弁が正解となる可能性もある.

2 点目は，特殊なノンファクトイド型の質問応答 になる点である。議会では質問の形式をした要望も 多くあり，その場合の答弁も，その要望をどう応え るかという内容になっている。

 &  \\

要約元の選定失敗

 \\

図3QAにおける誤り例

## 3 Answer Verification

前節で述べた QA の結果は完璧ではない，前回の PoliInfo-3 においては，四つの観点による人手評価の 結果， 800 点満点で 499 点 $(62 \%)$ が最高であった.図 3 に誤りの例を示す. なお，ゴールドデータであ る『都議会だより』を同様に人手で評価した場合が 598 点 $(75 \%)$ であり, 10 ポイント以上の差がある.本研究の目的はフェイクニュースへの対抗であ るが，現状では $\mathrm{QA}$ の出力結果が新たなフェイク ニュースを生み出す原因となっている. そこで我々 は，QA の出力がファクトかフェイクかを判定する Answer Verification タスク（以下，AV）を設計した. $\mathrm{AV}$ においては，与えられた質問と答弁のペアが 会議録の内容に合致しているか否かを判定するが， ここで問題となるのは学習データである. 正例とな るデータは，『都議会だより』の質問・答弁の要約 を利用することが可能である。一方，負例について は, PoliInfo-3の人手評価の結果, 不適切と判定され たものが利用可能である. PoliInfo-3 の QA のフォー マルランでは, 100 個の入力に対してそれぞれ 5 個 のシステムの出力結果を 4 人で評価した. 合計 500 個のうち，半数以上の評価者が不適切と判定したも のは 154 個にすぎない. そのため, 学習データとし て用いる負例の数が不足している.

この問題に対処するため，AVを二つのステージ に分割する。一つは，正例・負例のラベル付きデー タを作成する Fake-Answer Generation であり，もう 一つは, 質問・答弁のぺアの適切性を判定する分類器を構築する Fact-Checking Classification である.

## 3.1 Fake-Answer Generation

Fake-Answer Generation においては，『都議会だよ り』中の質問の要約と会議録を利用し，以下のいず れかの答弁を作成する。

1. 本当はフェイクだが，分類器がファクトと判定

2. 本当はファクトだが, 分類器がフェイクと判定

3. 本当はファクトで，分類器がファクトと判定

4. 本当はフェイクで, 分類器がフェイクと判定

もともとの動機は，1.や2.のような負例の不足で あったが，3.と4.のような正例も作成する.

作成方法は自動でも人手でも構わない. 自動的に 作成する場合, QA のシステム出力を人手で判定す る方法が考えられる。また，一部の単語を別の単語 に置換するルールなどを適用することも考えられ る. 図 3 の上部の例のように, 前回の QA では数値 に関して誤っているものがあった. 数値の誤りは フェイクになりうるため，数値を自動的に置換する ルールにより，負例を作成することが可能である. そうした誤りはニューラルモデルに基づくシステム ではしばしば出現する。また，会議録では「今年度」 となっているが『都議会だより』では「 2 年度」と なっている例があり, 正誤の判定は容易ではない.

また，人手で作成する場合は，多くの参加者を募 るために，ゲーミフィケーションを利用した手法も 考えている [15]. その際には, 参加者の敵役となる 分類器を準備し, その分類器を騙せるかどうかをリ アルタイムで試しながら答弁を作成する枠組も用意 する．後述するように，参加者が敵役を騙せるよう な答弁をある程度作成・投稿した段階で，それを元 に学習し直した分類器を新たな敵役として交代させ ることにより，参加者が継続して答弁を作成するよ うに動機付けを行う。

## 3.2 Fact-Checking Classification

Fact-Checking Classification では，参加者は答弁が ファクトかフェイクかを判定する分類器を構築す る.この判定は，会議録の内容から答弁を導くこと が可能か，という見方もできるため, 自然言語推論 の一種ともいえる.

学習データはタスクオーガナイザから提供する. その際に, Fake-Answer Generation で作成されたデー タも提供する．実際の運用においては，PoliInfo-4 の 実施期間中に何回かのサイクルを用意し，あるサイ

クルの Fake-Answer Generation で作成されたデータ を, 次のサイクルの Fact-Checking Classification の学習用に利用できるようにする．同様に，あるサイク ルの Fact-Checking Classification で作成された分類モ デルを，次のサイクルでの敵役として利用すること も計画している.

## 4 Stance Classification-2

政治家の発言の信憑性を判断するためには，政治家がどのような立場で発言しているのかを知ること が必要である．そのためには，複数の議案に対する 賛成・反対を総合して判断する必要がある. Stance Classification タスク（以下，SC）は，政治家の発言 を元に，議案に賛成か反対かを判定するタスクで ある.

同様のタスクは，PoliInfo-2 でも実施した。その 際には，議案・会議録・議員の所属政党の情報を与 えた。しかし，実際の会議録を見ると，「議案第○ 号 $\times \times \times$ について、賛成の立場で討論いたします。」 といった賛否を表明する発言が冒頭にあることが多 く，この賛否表明を発見するだけで高い精度が得ら れてしまった。

そこで今回の SC-2 では，そうした賛否表明中の 「賛成」もしくは「反対」の部分をマスクした発言 を入力とし，その状態で賛否を判定するタスクとし

一括質問一括答弁形式ではない会議録を対象とす る.そのため, 東京都議会以外の様々な地方自治体 の会議録を収集し，そちらから出題する。

## 5 Minutes-to-Budget Linking

予算編成は，どのような施策をどの程度重視す るかを具体的に表すものといえ，議会での議論お いて重要な位置を占める. PoliInfo-3 においては, Budget Argument Mining として, 議会の会議録と予算を結び付けるタスクを実施した．今回実施する Minutes-to-Budget Linking タスク（以下 MBLink）は， Budget Argument Mining の後継となるタスクである.具体的には，会議録と予算表が与えられたとき，会議録のテキストと予算表の項目を結び付け，議論の 根拠を抽出することを目的とする.

図 4 に MBLink の概要を示す。今回の MBLinkで は，入力となる会議録の HTML ファイルには，文ご と IDを埋め込み，同様に予算表の HTML ファイル にもセルごとに IDを割り当てておく. これらが与

図 4 MBLink の概要

えられたとき，ある文が予算表の特定のセルの金額 に関連するものであれば，そのセルの IDを付与し， さらのその文に予算の主張に関する理由が含まれて いるか否かの判定結果も付加する.

## 6 おわりに

本稿では，NTCIR-17 QA Lab-PoliInfo-4 における四 つのタスク, Question Answering-2, Answer Verification, Stance Classification-2, Minutes-to-Budget Linking について述べた。今回の大会では，それぞれのタス クについて個別の発表 $[16,17,18]$ も実施しているの で，そちらも参照していただきたい。

現在，PoliInfo-4 では広く参加者を募っている．興味を引くタスクがあった場合は，是非とも PoliInfo-4 の Web サイト ${ }^{2}$ を参照いただくか，連絡をいただき たい.

今後は参加者とともに本タスクを実施していく.現在は予備テスト (Dry Run)を実施中であり，2023 年 6 月頃に本テスト (Formal Run)を実施予定であ る. 予備テストの間も新規参加可能である. 2023 年 12 月の NTCIR-17 カンファレンスにおいて各参加者に研究成果を発表していただき，PoliInfo-4 は終了 となる.

## 謝辞

本研究は JSPS 科研費 21H03769，22H03901， 22K12740，20K00576 の助成を受けたものである.

## 参考文献

[1] Preslav Nakov, Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Lluís Màrquez, Wajdi Zaghouani, Pepa Atanasova, Spas Kyuchukov, and Giovanni Da San Martino. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims. In Proceedings of the Ninth International Conference of the CLEF Association: Experimental IR Meets Multilinguality, Multimodality, and Interaction, Lecture Notes in Computer Science, Avignon, France, 2022. Springer.

[2] Pepa Atanasova, Lluís Màrquez, Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Wajdi Zaghouani, Spas Kyuchukov, Giovanni Da San Martino, and Preslav Nakov. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims, Task 1: Check-Worthiness. In CLEF 2018 Working Notes. Working Notes of CLEF 2018 - Conference and Labs of the Evaluation Forum, CEUR Workshop Proceedings, Avignon, France, 2018. CEUR-WS.org.

[3] Alberto Barrón-Cedeño, Tamer Elsayed, Reem Suwaileh, Lluís Màrquez, Pepa Atanasova, Wajdi Zaghouani, Spas Kyuchukov, Giovanni Da San Martino, and Preslav Nakov. Overview of the CLEF-2018 CheckThat! lab on Automatic Identification and Verification of Political Claims, Task 2: Factuality. In CLEF 2018 Working Notes. Working Notes of CLEF 2018 - Conference and Labs of the Evaluation Forum, CEUR Workshop Proceedings, Avignon, France, 2018. CEUR-WS.org.

[4] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of Machine Translation Summit X: Papers, pp. 79-86, 2005.

[5] Kenneth Heafield. KenLM: Faster and smaller language model queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pp. 187-197, 2011.

[6] Astrid Van Aggelen, Laura Hollink, Max Kemman, Martijn Kleppe, and Henri Beunders. The debates of the European Parliament as linked open data. Semantic Web, Vol. 8, No. 2, pp. 271-281, 2017.

[7] Benjamin E Lauderdale and Alexander Herzog. Measuring political positions from legislative speech. Political Analysis, Vol. 24, No. 3, pp. 374-394, 2016.

[8] Federico Nanni, Stefano Menini, Sara Tonelli, and Simone Paolo Ponzetto. Semantifying the UK Hansard (1918-2018). In 2019 ACM/IEEE Joint Conference on Digital Libraries (JCDL), pp. 412-413. IEEE, 2019.

[9] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, Osaka, Japan, 2016. The COLING 2016 Organizing Committee.
[10] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[11] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Conference on Testbeds and Community for Information Access Research, pp. 122-135. Springer, 2019.

[12] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo2 task. In Proceedings of The 15th NTCIR Conference, 2020.

[13] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo3 task. In Proceedings of The 16th NTCIR Conference, 2022.

[14] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A Kalyanpur, Adam Lally, J William Murdock, Eric Nyberg, John Prager, et al. Building Watson: An overview of the DeepQA project. $A I$ magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[15] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. ゲーミフィケーションに基づく QA データセット拡充手法の提案: QA Lab-PoliInfo-4 Answer Verification タスクに向けて. ARG 第 18 回 Web インテリジェン スとインタラクション研究会予稿集, pp. 9-12, 2022.

[16] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. NTCIR-17 QA Lab-PoliInfo-4 Answer Verification にお けるGDADC の利用に向けての考察. 言語処理学会第 29 回年次大会, 2023 .

[17] 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会に おける議案への賛否に関する発言の分析—NTCIR 17 QA Lab-PoliInfo4 Stance Classification-2 タスクに向け て一. 言語処理学会第 29 回年次大会, 2023 .

[18] 木村泰知, 梶縁, 乙武北斗, 門脇一真, 佐々木稔, 小林暁雄. 議会会議録と予算表を紐づける Minutes-toBudget Linking タスクの提案. 言語処理学会第 29 回年次大会, 2023.


# 疑似訓練データを用いた one-shot 設定における 同形異音語の読み推定

小林汰一郎 ${ }^{1}$ 古宮嘉那子 2 新納浩幸 3
1 茨城大学大学院理工学研究科情報工学専攻
2 東京農工大学大学院工学研究院先端情報科学部門
3 茨城大学大学院理工学研究科情報科学領域
21nm724l@vc.ibaraki.ac.jp
kkomiya@go. tuat.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

読みに曖昧性を持つ単語を同形異音語と呼ぶ. 本論文では現代日本語書き言葉均衡コーパス (BCCWJ) と日本語話し言葉コーパス (CSJ) に含まれる全ての 同形異音語を対象に読み推定を行った. CSJをテス トデータとする場合, 話し言葉データを訓練データ として読み推定のモデルを学習するのが望ましい が, 訓練データの構築コストが高いという問題があ る. 本研究では自動的にアノテーションされたドメ イン外の大量の疑似データ (BCCWJ のデータ)を用 いることで, CSJ の訓練データの量を one-shot まで 抑えても精度に大差ないことを示した。

## 1 はじめに

日本語には同じ字面でも違う読みをする単語が存在する.このような単語を同形異音語という. 例と して「辛い」は「カライ」だけでなく「ツライ」と 読むこともできる. 日本語話者であれば文脈から読 み分けをすることは容易だが, 日本語を母語としな い者やコンピュータにとっては困難である。

これまでに小林らは同形異音語の読み推定を 行ってきた. 先行研究 [1] では SVM(Support Vector Machine) を用い, データセットとして現代日本語書 き言葉均衡コーパス (BCCWJ)[2], 素性として one-hot ベクトル, nwjc2vec[3], BERT [4] による分散表現を用 いた. また, 先行研究 [5] では事前学習モデル BERT を用いて, 全単語を対象に読み分類を行った。

本稿では, BERT を用いて全単語を対象に読み推定を行う. 既存研究 [5] との違いは, 自動的にアノ テーションされた疑似データを大量に用いることで人手データを one-shot に留め, モデルの構築コスト を抑えたことである.このようにして作成されたモ デルが, 人手データを大量に使用して学習したモデ ルの精度に匹敵することを確認した。

## 2 関連研究

## 2.1 同形異音語の読み推定の関連研究

対象単語を絞って同形異音語の読み推定を行っ た研究には, 1 節でも述べた小林ら [1] がある.この 論文では BCCWJ 中に存在する 71 単語の読みを, さ まざまな素性を用いて分類している. 全単語を対象 とした読み推定を行った研究には, 小林ら [5] があ る. 本研究では one-shot の設定としたところに違い がある.

## 2.2 全単語対象の関連研究

本論文ではコーパスに含まれる曖昧な読みを持 つ全単語を対象に読みの推定を行った. 全単語を対象にしている点, 読みは意味が違うと異なることが 多い点から見ると, 本タスクは all-words Word Sense Disambiguation (WSD, 語義曖昧性解消) と関連があ る. all-words WSD とは, 文書中の全単語を対象に語義ラベルを与えるタスクである. WSD では一般に，単語の意味は文脈に依存すると仮定している. 本研究でもまた, 単語の読みが文脈に依存すると仮定し ている.

新納ら [6] はテキスト解析ツール $\mathrm{KyTea}^{1}{ }^{1}$ を用いて all-words WSD が解決できることを示した. KyTea は 分割されたテキストデータを用いて単語分割を訓練

するモデルである. 新納らは訓練データに語義デー 夕を加えて学習させることで, 語義曖昧性解消のモ デルを構築した. このように, 曖昧性のある全単語に ラベルを付与して学習させることで, 全単語を対象 とした語義曖昧性解消システムを構築できる.また，鈴木ら [7] は概念辞書を用いて多義語の周辺単語の 分散表現を作成し, それらのユークリッド距離を計算することで多義語の語義を推測した. また, Jiaju Du et al.[8] は英語の all-words WSD タスクに BERT が有効であることを示した. 具体的には, BERT を用 いることで当時の最高性能を 5.2 ポイント上回る結果を残している。

## 2.3 疑似データを用いることの関連研究

疑似データを用いた研究には, 清野ら [9] や斎藤 ら [10], Wang ら [11] の研究がある. 清野らは, 文法誤り訂正において, 疑似データの生成方法や疑似 データの生成元について検討している. その結果, CoNLL-2014 において当時の最高性能を記録した。斎藤ら [10] は, スペル訂正タスクにおいて, 自動生成 された疑似正解データを用いて事前学習を行った 後, 少量の人手正解データを用いて再度学習させる 手法が有効であることを示した. また, Wang ら [11] は, 疑似訓練データと語義タグ付きデータとを組み 合わせることが中国語の語義曖昧性解消に効果的で あることを示した。

## 3 疑似データを用いた同形異音語の 読み推定

本研究では,コーパス中の全単語を対象とした読 み推定システムを作成する. 本研究には, 日本語話 し言葉コーパス $(\mathrm{CSJ})[12]$ を利用する. CSJ は話し 言葉をべースに作られたコーパスであり，音声デー タを書き起こしているため，正確な読み情報を得る ことが可能である. しかし, CSJ のような音声情報 を書き起こすコーパスは構築コストが高く,大量に 用意することは困難である．

そこで本研究では，システムによって自動的に読 み情報を付与された疑似データを学習データとし て追加的に利用する. 大量の疑似データを用いてモ デルを構築したのち, 少量の正解の読み情報が付与 されたデータを用いて追加学習を行う手法と, 正解 データのみを用いて構築したモデルとの正解率を比較することで, 疑似データの有効性を調査した. 本実験では追加学習に CSJ に存在する読みが曖昧な単語 を一用例ずっ用い, one-shot の設定で実験を行った.

## 4 データ

本実験ではテストデータおよび正解の読み情報 が付与された訓練データとして CSJを利用し, 疑似訓練データとして BCCWJを利用した. BCCWJで は，形態論情報をほとんど自動で付与しているが， その一部には人手で解析精度を高めたコアデータが 含まれている2). そのため, 本研究の実験には非コ アデータのみを利用した。また，BCCWJ は書き言葉であるため正確な読み情報は分からない場合があ る. 上記 2 種類のデータセットに含まれる単語の情報は表 1 のとおりである.

本研究の実験ではテストデータおよび one-shot の 学習データに CSJを利用し, 疑似訓練データには BCCWJ を利用した。そのため, 疑似訓練データとテ ストデータのドメインは異なっている点に注意され たい.

## 5 モデル

本研究の実験には BERT の fine-tuning を利用した. その様子を図 1 の模式図に示す. 入力はコーパスか ら整形して抽出したトークン列 (6.1 節参照)であり, BERT の 12 の層を経て 768 次元のベクトルへと変換される.このべクトルを識別層 $W$ に入力するこ とで読みラベル $R$ を出力する. ただし, この出力は 15,291(=読みの辞書のサイズ) 次元のベクトルであ る.このとき, ベクトル中の $a$ 番目の要素は, その単語の読みがラベル $a$ である確率を表している.この 確率を参照し, 最も値の大きなラベルをモデルの推定結果とした. ただし, 参照する要素は単語によって 異なる. 例えば，ある単語の読みがラベル $10,11,12$ に対応するのであれば, 参照する要素は $10,11,12$ 番目のみである.

使用したモデルの説明を以下に示す.

modelC CSJで学習したモデル

modelB BCCWJで学習したモデル

modelB-C1s BCCWJ で学習した後 CSJ における one-shot 学習を行ったモデル

modelC1s CSJ における one-shot 学習を行ったモ デル

全てのモデルは CSJを分割したテストデータ (6.2 節参照)を用いて評価した。

図 1 モデルの模式図

## 6 実験

## 6.1 データの整形

本研究では,コーパス中の単語データの整形を以下のように行った. まず, 読みに曖昧性のある単語を コーパスから抽出する。これにより読みラベルを定義し, 読みの辞書を作成する. 表 2 に読みに関する統計情報を示す. 次に, 単語毎に「単語の表記」「BERT における単語の ID」「単語の読み」「単語の読みラべ ル」「単語の読みの候補リスト」「単語の読みの候補 ラベルリスト」「単語の読みの候補数」の 7 つの情報を付与し, 単語情報 $w$ を作成する. さらに, コーパ ス中のデータを 1 文毎に区切る. ただし,コーパスに は単語毎にデータが格納されているため, 各コーパ スにおける区切り文字を以下のように定義した。

## BCCWJ 「。」「!」「?」

CSJ「です」「ます」「た」

力となる ID リスト」「曖昧な読みのある単語の位置情報」「読みに曖昧性のある単語の読みラベルリス ト」「読みに曖昧性のある単語の読み候補リスト」 の 5 つを付与して文情報 $s$ を作成し，これをシステ ムの入力とした。

## 6.2 実験設定

モデルには東北大から公開されている訓練済み日本語 BERT モデル3)を使用した. 使用したモデルの ハイパーパラメータのうち, 変更したものは以下の 通りである。
- 最適化関数 : SGD
- 学習率 : $10^{-4}$

・ミニバッチ数 : 1

また, CSJ はデータ全体を (訓練データ):(検証デー タ):(テストデータ) $=1: 1: 8$ に分割して利用した.この 訓練データから, 読みに曖昧性のある単語を一用例 ずつ抽出し, one-shot 学習用のデータとした. なお, ハイパーパラメータの変更とデータの分割について は,小林ら [5] の研究に倣った.

## 7 結果

追加学習に使用するデータ量毎の全単語を対象と した読み推定の正解率を表 3 に示す. まず, modelC1s, modelB, modelC の正解率がそれぞれ $58.40 \%, 94.22 \%$, $97.97 \%$ であることから, 領域外の大量の疑似データ を用いた学習による読み推定 (modelB) の正解率は,対象領域の one-shot 学習によるモデル (modelC1s) よ り高く, 対象領域の全データを用いた学習によるモ デル (modelC) と比べると低いことが確認できる. そ

3) cl-tohoku/bert-base-japanese
表 2 読み情報

表 3 追加学習に使用する疑似データの量ごとの全単語を 対象とした読み推定の正解率

こで, 学習データとして, 疑似データに加えて CSJに 存在する分類対象の単語一用例ずつを追加すると (modelB-C1s), 読み推定の正解率は $97.40 \%$ となった. これは, modelC と比べて 0.57 ポイント下回りこそす るが, その差はわずかである. 反対に modelB-C1s は modelB と 3 ポイントの差があることから, 書き言葉 の疑似データで学習させたモデルに話し言葉データ をごく少量追加学習させることで, 3 ポイントの正解率の上昇となっていることが見て取れる.つまり,話し言葉データを一用例ずつ追加したことによる話 し言葉への領域適応の効果は高く, modelC とほとん ど同程度の正解率を達成できることが確認できる。 これらの実験から, 書き言葉のコーパスにある自動的に読みを付与したデータを疑似データとして利用 すると, 音声書き起こしのコーパスの訓練データの 量を one-shot に減らしても, 音声書き起こしのコー パスをすべて利用する場合に比べてほとんど遜色な い読み推定の正解率が得られることが分かった.

## 8 考察

本章では, modelB と modelB-C1s とを比べて, どの ようなデータにおいて改善が見られたのか, その傾向を考察する. 結論としては, modelB-C1s の結果か ら, 改善されたデータの傾向を読み取ることはでき なかった。

傾向を読み取る際, 以下の 3 つを検証した。
- 品詞

・読みの平均数

・意味の遠さ

検証にあたって, 正解率の上昇に起因した上位 25 単語 (付録: 表 4) と下位 25 単語 (付録: 表 5) を抽出し た. まず, 品詞については, 上位 25 単語のうち 23 単語が名詞, 2 単語が動詞であり, 下位 25 単語では, そ
のすべてが名詞であった. どちらもほとんど名詞で あることから, 両モデルの品詞による傾向の差はな いといえる. 次に, 読みの平均数については, 上位 25 単語では 4.12(個/単語), 下位 25 単語では 3.36(個/単語) であった. つまり, 読みの個数には, 上位と下位の 間で, 1 単語あたり 0.76 個の差があることがわかる. しかし, 1 単語あたりの読みの個数の差が 1 未満であ るため, 大差はないといえる. 次に, 意味の遠さにつ いては, 第一著者の主観で分類した. 例えば「開く」 は「ヒラク」や「アク」と読むが，これはほとんど意味が同じである. それに対して「市場」は「シジョ ウ」や「イチバ」と読むが,これは文脈によって読 み分けが必要であるため, 意味が遠いといえる.この ように判断した時, 上位 25 単語中意味が遠い単語は 「評定」(「ヒョウテイ」「ヒョウジョウ」)のみであ り,下位 25 単語中意味が遠い単語は「市場」(「イ チバ」「シショョウ)と「大勢」(「タイセイ」「オオ ゼイ」「タイゼイ」),「出店」(「デミセ」「シュッテ ン」)の 3 単語である.このような観点で上位と下位 を比べても, 精度の差に傾向はみられなかった.これ らのことから, modelB-C1s の正解率が modelB を上回った要因は,テストデータと同じ領域の訓練デー タを追加したという単純な理由によるものと考えら れる。

## 9 おわりに

本稿では, BERT の fine-tuning を用いて読み推定を 行った. 読み推定の対象は, BCCWJ と CSJ に存在す る, 読みに曖昧性のある全単語とした. 実験では, ド メイン外の大量の疑似データ (BCCWJ の読みデー タ) を用いることで, 構築コストの高い書き起こしに よる読みのタグ付きデータ (CSJ の読みデータ)を減 らすことができることを確認した. 具体的には, CSJ の読みデータを one-shot まで減らしてもモデルの精度に遜色ないことが分かった。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究 (22FC04), JSPS 科研費 22 K12145 の助成を受け ています. また, 国立国語研究所の異分野融合型共同研究「テキスト読み上げのための読みの曖昧性の 分類と読み推定タスクのデータセットの構築」の成果である.

## 参考文献

[1] 小林汰一郎, 古宮嘉那子. SVM を用いた BCCWJ に おける同形異音語の読み推定. 言語処理学会第 27 回年次大会, pp. 405-409, 2021.

[2] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[3] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec:国語研日本語ウェブコーパスから構築した単語の 分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] 小林汰一郎, 古宮嘉那子, 新納浩幸ほか. 疑似訓練 データを用いた bertによる同形異音語の読み推定.研究報告自然言語処理 (NL), Vol. 2022, No. 3, pp. 1-5, 2022.

[6] Hiroyuki Shinnou, Kanako Komiya, Minoru Sasaki, and Shinsuke Mori. Japanese all-words wsd system using the kyoto text analysis toolkit. In Proceedings of the 31st Pacific Asia Conference on Language, Information and Computation, pp. 392-399, 2017.

[7] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した教師 なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[8] Jiaju Du, Fanchao Qi, and Maosong Sun. Using bert for word sense disambiguation. arXiv preprint arXiv:1909.08358, 2019.

[9] 清野舜, 鈴木潤, 三田雅人, 水本智也, 乾健太郎. 大規模疑似データを用いた高性能文法誤り訂正モデル の構築. 言語処理学会第 26 回年次大会, pp. 989-992, 2020.

[10] 斉藤いつみ, 鈴木潤, 貞光九月, 西田京介, 齋藤邦子, 松尾義博. 擬似データの事前学習に基づく encoder-decoder 型 日本語崩れ表記正規化. 言語処理学会第 23 回年次大会, pp. 585-588, 2017.

[11] Xiaojie Wang and Yuji Matsumoto. Improving word sense disambiguation by pseudo-samples. In International Conference on Natural Language Processing, pp. 386-395. Springer, 2004.

[12] Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.
表 4 改善が見られた上位 25 単語

表 5 改善が見られなかった上位 25 単語