# 極小主義に動機づけられた統語的教示に基づく言語モデル

磯野真之介＊梶川康平＊吉田遼＊大関洋平
東京大学
}

\{isono-shinnosuke, kohei-kajikawa, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp
## 概要

近年、階層的な統語構造を明示的に扱う言語モデルである再帰的ニューラルネットワーク文法 （RNNG）が、高い文法汎化能力を持ちうることが示されている。本研究は、RNNGをべースに、有力な言語理論である極小主義の見地からより妥当な統語構造を用いた新しい言語モデル（極小主義 (Minimalism) に動機づけられた RNNG, M-RNNG) を提案する。M-RNNGでは、音形のない痕跡や機能範疇が加わる一方、非終端記号はなく、また木は全て二分木である。SyntaxGym による評価では、一部の文法タスクで M-RNNG の精度が RNNG を上回り、音形のない要素と極小主義的な木構造がそれぞれ精度に貢献し得ることが示唆された。

## 1 はじめに

理論言語学では、人間の文法知識は離散的で再帰的な階層構造によって特徴づけられると主張されてきた $[1,2]$ 。近年主流の大規模な言語モデルにはそのような階層的な構造を明示的に扱わないものも多い（e.g., [3]）が、階層構造を明示的に扱う（統語的教示がある）ことの重要性は今日に至るまで盛んに議論されている $[4,5,6,7]$ 。例えば、それら統語的教示のある言語モデルの代表の一つである再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG) [8] は統語的教示のない純粋な再帰的ニューラルネットワーク (Recurrent Neural Network, RNN) [9] に比べて高い文法汎化能力 $[10,11,12]$ や心理言語学的評価 $[13,14]$ を達成できることが示されており、「人間らしい」言語モデルとして注目されている [15]。

しかし、RNNG をはじめとする統語的言語モデルが扱う統語構造と、人間の言語知識についての有力な理論である主流生成文法、特に極小主義 $[2,16]$ で想定されている統語構造との間には開きがある。主

流生成文法では、移動の痕跡や機能範疇として音形を持たない要素が存在し、人間の言語知識の説明に重要であることが主張されている。しかし、こうした音形のない要素は、主流なツリーバンク $[17,18]$ のアノテーションに含まれているにも関わらず、統語的言語モデルに与えられる教示では一般に取り去られてしまっている [19]。そこで本研究では、 RNNG をべースに、主流生成文法・極小主義の見地からより妥当な統語構造を用いた新しい言語モデル （極小主義 (Minimalism) に動機づけられた RNNG, M-RNNG）を提案する。M-RNNG は、音形のない要素の生成 NULL (*x) をアクションに含むことで、解析対象の文字列に含まれていない要素を推測できる。これを利用し、主流生成文法で広く受け入れられているいくつかの音形のない要素が、文法汎化能力に貢献するかを検証する。

また極小主義では、階層構造を生成する操作である併合 (Merge) は、常に 2 つの要素をとり、そのラベルはそれらの要素を元に決まるとされている [2]。 これらを踏まえ、M-RNNG が扱う木は全て二分木とし、明示的な非終端記号を取り去った。これにより、RNNG などの既存の統語的言語モデルにおける非終端接点を開くアクションNT (X) は不要となり、併合に相当する REDUCE アクションが常にスタックの上位 2 個の要素を参照してそれらを合成することになる。

このように、M-RNNG は、理論言語学で有力視されている構造を統語的教示として用いた言語モデルであり、本研究は人間らしい言語モデルの開発へ向けて、人間の文法知識を探求してきた理論言語学の知見が生かせるかを検証するものである。

## 2 提案手法

## 2.1 構文木の変換

主流生成文法、特に極小主義の見地からある程度妥当な構文木は、Penn Treebank (PTB) [17] 形式の構

図 1 実際の木変換の例。三点リーダ部分は省略。

文木を一定のアルゴリズムに基づいて変換することで得られる。本研究で行った変換の例を図 1 に示す。変換は音形のない要素に関するものと、二分木化に関するものに大別される。音形のない要素のうち、PTB のアノテーションに存在するものについては、表記をアステリスクャから始まるように統一し、移動の痕跡 $\star t$ 、補文標識 $\star c 、$ 削除の痕跡 $x e$ に整理した。句読点および単位記号の解釈位置 $(* U *)$ は削除した。さらに、時制の機能範疇を挿入した。具体的には、 $S$ に直接支配され、一般動詞の活用形を主要部とするVPがあれば、それに被せる形で時制を示す要素（動詞の活用形に応じて、過去形*tns_pst、現在形 3 人称単数 $*$ tns_pres_3s、それ以外の現在形×tns_pres）を插入した。時制の機能範疇を挿入したのは、その存在が主流生成文法において広く受け入れられており、かつ PTB のアノテーションを元に挿入することが容易だからである。

二分木化に際しては、PTB で三分木以上となっている木を、その品詞タグから判断できる限り言語学的に妥当になるように二分木に自動変換した。たとえば、図 1 の the authority to ... のように決定詞と名詞、それに後続する句を持つ三分木は、句を名詞の姉妹要素として付け替えることで二分木とした。また、giveのような三項動詞については、動詞に後続する 2 つの項を 1 つの構成素にまとめた [20,21]。

こうした変換を終えたあと、残った三分木以上の木を右枝分かれの二分木に変換し、枝分かれのない木を取り除き、非終端記号を取り去った。

## 2.2 極小主義に動機づけられた RNNG

提案モデルである極小主義 (Minimalism) に動機づけられた RNNG (M-RNNG) のアーキテクチャを図 2 に示す。スタックのみの RNNG $[22,10]$ をべー スとしつつ、2.1 項の変換アルゴリズムにより得られた、主流生成文法・極小主義の見地からより妥当な統語構造を教示とすることが可能になっている。 M-RNNG は、スタックデータ構造を用い、以下の 3 つのアクションによってその状態を更新していく：

$\cdot$ $\operatorname{GEN}(\mathrm{x})$ : 単語 $\mathrm{x}$ を生成する。生成単語 $\mathrm{x}$ を表すベクトル $e_{x}$ をスタックの先頭に追加する。

・NULL (*x)：音形のない要素* $\mathrm{x}$ を生成する。生成要素* $\mathrm{x}$ を表すべクトル $e_{* x}$ をスタックの先頭に追加する。

・REDUCE：併合に相当する。スタックの上位 $2 \supset$ の要素を双方向 LSTM [23] を用いて合成する。

非終端記号を取り去った二分木を扱うため、RNNG などの既存の統語的言語モデルにおける非終端記号を開くアクション NT (X) は不要となり、また、 REDUCE アクションは常にスタックの上位 2 個の要素のみを参照すればよいことになる（cf. [24]）。各アクションの後には、スタックの状態がスタック LSTM [25] により単方向にエンコードされ、それに基づき次のアクションの確率分布が算出される。各アクションの後、スタック内に単一のベクトルが残された際のみ、生成の終了を表す STOP アクション [10] に対しても確率が付与できるようになる。

## 3 実験設定

## 3.1 音形のない要素の有無

M-RNNG の学習データには、PTB 形式のツリーバンクの一つである Brown Laboratory for Linguistic Information Processing 1987-89 Corpus Release 1 (BLLIP、 LG、約 1.8M 文、約 42M トークン) [18] の各文に 2.1 項の変換アルゴリズムを適用したものを用いた。さらに本研究では、音形のない要素がモデルの文法汎化能力に貢献するかを検証するため、そうした要素を以下の 2 つのグループに分け、それぞれの有無だけが異なる 4 つの実験用のデータを用意した。

$\cdot$痕跡（移動の痕跡×t および削除の痕跡 $x \mathrm{e} ）$
- 機能範疇 (時制×tns_pst、*tns_pres、

*tns_pres_3s および補文標識×c)

各実験用データを用い、入力・隠れ層の次元数 256 の 2 層 M-RNNG を学習した。また、ベースラインとして、2.1 項の変換アルゴリズムを適用しないかつ従来通り音形のない要素を取り去った BLLIP で

図 2 極小主義 (Minimalism) に動機づけられた RNNG (M-RNNG) のアーキテクチャ。GEN(x)、NULL(*x) アクションにより、それぞれ、単語、音形のない要素、を生成する。非終端記号を取り去った二分木を扱うため、非終端記号を開くアクションNT (X) は不要となり、併合に相当する REDUCE アクションは常にスタックの上位 2 個の要素を合成する。

学習した、入力・隠れ層の次元数 256 の 2 層 RNNG を学習した。M-RNNG と RNNG は共に並列化した実装 [4]を用いた。1) 各 M-RNNG 及び RNNG について、ランダムシードの異なる 3 つのモデルを学習した。学習の詳細は付録 $\mathrm{A}$ に示した。

## 3.2 SyntaxGym

本研究では、音形のない要素の有無が異なる 4 つのデータで学習された M-RNNG 及び RNNG を、統語的汎化能力の観点から評価する。評価データとしては、SyntaxGym ベンチマーク [26] における 5 つのテストサーキット [12]を用いた。各サーキットは、以下のそれぞれの言語現象を対象とする： Agreement, Licensing, Garden-Path Effects、 Center Embedding、Long-Distance Dependencies。ただし、 Garden-Path Effects はNP/Z 及び主動詞/縮約関係節ガーデンパス文の扱いをテストするものであるが、このうち NP/Z ガーデンパス文は二分木化の際に取り除かれた「カンマ (,)」を手がかりとしないと解けないデザインとなっているため本研究では対象外とした。SyntaxGym における残り 1 つのサーキットであるGross Syntactic Stateを本研究で用いないのも同様の理由による。

SyntaxGym において、言語モデルの統語的汎化能力は、統制された複数文の間での確率的予測の違いによって測られる。例えば、Agreement における、前置詞句を含む主語と述語の一致のテストでは、言語モデルは正文である (1a)の下線部に非文である

1）M-RNNGの実装は構文木の変換コードと共に後日公開予定である。RNNG の実装は以下を利用した： https://github.com/aistairc/rnng-pytorch。 (1b) の下線部よりも高い確率を付与していれば正解となる：

(1) a. The author next to the senators is good.

b. *The author next to the senators are good.

M-RNNG 及び RNNG を単語列に対する推論のモデルとして使うために、単語同期型ビームサー チ [27]を用いた。単語同期型ビームサーチは、各アクション毎の足切りとは別に、各単語の生成を行うアクション $\operatorname{GEN}(\mathrm{x})$ 毎にも足切りを行う。本研究で新たに導入した、音形のない要素の生成 NULL $(* x)$ アクションを持つ M-RNNG にも直接適用可能である。先行研究 [4] に従い、アクションビーム幅を 100、単語ビーム幅を 10、ファストトラック幅を 1 に設定した。

## 4 結果と考察

4 種類のデータで学習した M-RNNG およびRNNG の、サーキットごとの結果を、図 3 に示す。棒グラフはシードの異なる 3 つのモデルの結果の平均値を表し、それぞれの点は各シードの結果を表す。

まず、音形のない要素の有無による M-RNNG 間の精度の違いを見ると、 5 つのサーキットのうち Licensing を除く4つで、機能範疇と痕跡の両方を含めたデータで学習したモデルの精度が最も高かった。これらの音形のない要素が、統語構造の適切な分析に貢献したと考えられる。たとえば、Agreement では、機能範疇と痕跡の両方を含めることで初めて高い精度が出ており、時制の機能範疇が一致素性を明示していること（tns_pres と

図 34 種類のデータで学習した M-RNNG および RNNG の、サーキットごとの結果。棒グラフはシードの異なる 3 つのモデルの結果の平均值を表し、それぞれの点は各シードの結果を表す。

tns_pres_3s の区別がある）と、移動の痕跡があることでサーキットに用いられている関係節が解析しやすくなっていることが寄与していると推測される。(2)の文に対する同一シードでの結果を比較すると、機能範疇と痕跡ありの M-RNNG が正文の構文解析を正しくできており、文法性も正しく判断している一方、これらのない M-RNNG は解析ができておらず文法性判断も誤っている。それぞれの解析結果を(3a, b) に示す。なお、RNNG も、(3c) に示すように解析を失敗している。

(2) The consultants that the secretary doubted $\{$ are/*is $\}$ good.

(3) a. ((The (consultants (that ((the secretary) $(*$ tns_pst $($ doubted $* t))))))($ are good) $)$

b. (The (consultants (that ((the secretary) doubted) (are good)))))

c. (S (NP (NP The consultants) (SBAR (WHNP that) (S (NP the secretary) (VP doubted (SBAR (S (VP are (ADJP good))))))))))

また、M-RNNG と RNNGを比較すると、 Agreement, Center embedding、Garden-Path $の 3 \supset の$ サーキットで、機能範疇と痕跡を含めた M-RNNG、 およびどちらも含めない M-RNNG が RNNG の精度を上回った。これらのサーキットでは二分木ないし非終端記号の除去という M-RNNG の極小主義的な設計自体が精度を高めたと考えられる。

一方、Licensing と Long-Distance Dependency では全ての M-RNNG の精度が RNNG を下回った。 Licensing では、M-RNNG が RNNG に比べて特に苦手とするのが (4) のような herself を含む問題であっ
た。非終端記号の除去により、主語名詞句を構造的に抽象化する効果が薄れ、主語に対するジェンダー バイアス [28] が RNNG より残存しやすかった可能性が考えられる。

(4) The pilot that the teachers met injured \{herself/*themselves \}.

最後に、本研究の中心的課題ではないが、MRNNG は RNNG よりも計算効率の面で優れている。32GB の NVIDIA V100 GPU $\times 1$ を用いた BLLIP （LG、約 1.8M 文、約 42M トークン）の 15 エポックの学習に、RNNG は約 13 時間を要したが、M-RNNG は最も学習時間がかかった機能範疇と痕跡ありの条件でも約 6 時間の学習時間しか要さなかった。

## 5 おわりに

本研究は、有力な言語理論である極小主義に動機づけられた統語構造を用いた新しい言語モデルとして M-RNNG を提案した。SyntaxGym による評価では、一部の文法タスクで、M-RNNG の精度が RNNG を上回った。本実験の結果は、音形のない要素の存在と、全て二分木で非終端記号のない極小主義的な木構造がいずれも言語モデルの文法汎化能力に寄与し得ることを示唆している。提案手法はその他の統語的言語モデル (e.g., Transformer Grammar [6]) にも応用可能であり、理論言語学の知見を生かした人間らしい言語モデルの開発を後押しすると考えられる。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Noam Chomsky. Aspects of the theory of syntax. MIT Press, Cambridge, MA, 1965.

[2] Noam Chomsky. The Minimalist Program. MIT Press, Cambridge, MA, 1995.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of ACL 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[5] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In ACL-IJCNLP 2021, pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[6] Laurent Sartran, Samuel Barrett, Adhiguna Kuncoro, Miloš Stanojević, Phil Blunsom, and Chris Dyer. Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale. TACL 2022, Vol. 10, pp. 1423-1439, 12 2022.

[7] Ryo Yoshida and Yohei Oseki. Composition, attention, or both? In Findings of EMNLP 2022, pp. 5851-5863, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In NAACL 2016, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[9] Jeffrey L. Elman. Finding structure in time. Cognitive Science, Vol. 14, No. 2, pp. 179-211, 1990.

[10] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In ACL 2018, pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In NAACL 2019, pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In ACL 2020, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[13] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In ACL 2018, pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In EMNLP 2021, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Tal Linzen. How can we accelerate progress towards human-like linguistic generalization? In ACL 2020, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[16] David Adger. Core Syntax: A Minimalist Approach. Oxford
University Press, 2003

[17] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993

[18] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. BLLIP 1987-89 WSJ Corpus Release 1 LDC2000T43, 2000.

[19] C.D. Manning and H. Schutze. Foundations of Statistical Natural Language Processing. MIT Press, Cambridge, MA, 1999.

[20] Richard K. Larson. On the double object construction. Linguistic Inquiry, Vol. 19, No. 3, pp. 335-391, 1988.

[21] Kenneth Hale and Samuel Jay Keyser. On argument structure and the lexical expression of syntactic relations. In Kenneth Hale and Samuel Jay Keyser, editors, The view from Building 20, pp. 53-109. MIT Press, Cambridge, MA, 1993.

[22] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In EACL 2017, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[23] Mike Schuster and Kuldip K. Paliwal. Bidirectional recurrent neural networks. IEEE 1997, Vol. 45, pp. 2673-2681, November 1997.

[24] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised recurrent neural network grammars. In NAACL 2019, pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[25] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In ACL 2015, pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[26] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In ACL 2020, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[27] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In EMNLP 2017, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[28] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In EMNLP 2018, pp. 1192-1202, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[29] Slav Petrov, Leon Barrett, Romain Thibaux, and Dan Klein. Learning accurate, compact, and interpretable tree annotation. In COLING-ACL 2006, pp. 433-440, Sydney, Australia, July 2006. Association for Computational Linguistics.

[30] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, San Diego, CA, USA, 2015. Conference Track Proceedings.

## A 学習の詳細

前処理学習、開発、およびテストセットの分割は先行研究 [12] に従った。先行研究 [4] を踏襲し、学習データの頻出語上位 50,000 語を語彙に含め、残りは Berkeley parser's surface feature rule [29] に則って未知語化した。ただし、M-RNNG が REDUCE の際に常にスタックの上位 2 個の要素を対象として合成できるよう、サブワード化は行わなかった。

ハイパーパラメータ $\quad$ M-RNNG 及び RNNG の学習時のハイパーパラメータは先行研究 [4] を踏襲した。最適化には学習率を 0.001 に設定した Adam [30] を用いた。ドロップアウト率は 0.1、バッチサイズは 512 に設定した。また、 15 エポックの学習を行い、各モデルの評価の際には、BLLIP の開発セットで最も損失が小さかったチェックポイントを用いた。


# 環境税をめぐる言説空間に関する一検討一 国会議事録を活用した関連用語の分析 一

吉岡詩織* 早川敦士* レー武興
株式会社DATAFLUCT
\{shiori. yoshioka, atsushi. hayakawa, takeoki.le\}@datafluct.com
*共同第一著者

## 概要

近年，気候変動に対する危機感は世界全体で高まっている。気候変動政策は今後, 主に先進国で重要な政治的争点の一つとなることが考えられる. 具体的な政策の代表例に環境税がある. 本研究では, 環境税の導入に対する各政策主体のスタンスを明確にし，議論の進展を促すために，国会議事録で「環境税」を含む発言およびこれに対する返答に含まれる関連用語をロジスティック回帰で抽出し, 政党および委員会 (省庁)の意見の違いについて可視化した. また，定量的に抽出された用語を含む発言と返答の内容を確認し, 定性的に分析を行った. 結果, 傾向として自由民主党 (以下, 自民党)および経済産業委員会 (以下，経産委員会) は, 民主党・無所属クラブ (以下, 民主党)および環境委員会に比べ環境税導入に消極的であるという仮説に関する示唆を得た。

## 1 はじめに

近年，気候変動に対する危機感は世界全体で高まっており，2050 年にカーボンニュートラルを掲げる国は 125 力国 1 地域にのぼる[1]. 日本では 2030 年に国全体の温室効果ガス排出量を 2013 年対比で 46\%削減, 2050 年にカーボンニュートラルの達成を掲げている[2]. 気候変動政策の代表に，環境税がある。環境税とは，広義には「環境に負荷を与える財・ サービス全般を課税の対象にし，それらを抑制して環境保全に役立てようとする発想」のもと, 設定される税制である[3]. 狭義には，「二酸化炭素(以下 $\left.\lceil\mathrm{CO}_{2} \downharpoonleft\right)$ の排出量に応じ, 工場や企業, 家庭などから幅広く負担を求めることにより，広く国民に対し温暖化対策の重要性についての認識を促し, 排出量の削減を推し進めるもの」であり [4], 後者は炭素税と呼ばれる.以下, 当税制の歴史的背景を記述する.環境税は 1920 年代，イギリスの経済学者 Arthur Cecil Pigou が提唱したピグー税に起源がある.ピグ一税とは，元来環境に限らず経済活動において市場を通さずに便益を享受し損失を被ること，すなわち 「外部不経済」に対して，正の効果をもたらすものには補助金の提供を，負の効果をもたらすものには課税をするという概念である[5]. この「外部不経済の内部経済化」は環境問題と良い相性である. 大気・水質の污染物質や廃棄物一の課税は，それらの発生の抑制効果を持つとされている．中でも $\mathrm{CO}_{2}$ の課税は，気候変動の世界的な解決策として期待されるが，他の環境問題と比べ課税対象者を誰にするか，削減に有効な価格は 1 トンの $\mathrm{CO}_{2}$ でどれくらいか (カーボンプライシング)，課税による経済的損失との比較はどう行うか，などの論点がある. 2018 年ノ一ベル経済学賞を受賞したアメリカの経済学者 William Dawbney Nordhaus は, Dynamic Integrated Climate-Economy モデル(以下，DICE モデル)と呼ばれるマクロ経済と気候変動の統合評価モデルを発明した. この DICE モデルでは，炭素の社会的費用， すなわち追加的な炭素排出 1 単位が経済に与える影響の大きさとして，適切な炭素価格を計算できる [6]. 1990 年代に開発された DICE モデルだが，基本的なコンセプトを変えず改良され続けており，今日の IPCC レポート等でも援用されている.

現実の制度としての環境税は欧州を中心にはじまったが，その背景にはスイスの経済学者 Hans Christoph Binswanger がいる. Binswanger は「エネルギー税を引き上げて大気污染を減らし, 社会保険料を引き下げて雇用をしやすくする，さらに，エネルギー税収入で年金保険料収入の減少を補填するという考え方」を示し，欧州の環境税制改革の理論的バックグラウンドとなった[7]. 1990 年代にフィンランド，スウェーデン，オランダ，ドイツといった国々

で環境税制改革が行われ, 所得税や法人税などの減額処置と同時に化石燃料に対する付加税, 電力消費に対する課税強化, 鉱物油税等が導入された [8].

日本では, 環境税は「地球温暖化対策のための税」 (以下「温対税」)として 2012 年に導入され, 2016 年に導入当初に予定されていた最終税率への引上げが完了した. 本税制は石油, ガス, 石炭に対して課税され, 納税義務者は化石燃料の採取者または保税地域からの引取者 (輸入者)である. 家計への影響は年額 1,200 円程度と試算されており, 1 トン- $\mathrm{CO}_{2}$ eq あたりの税率は 289 円と, 欧州や北米といった環境税が導入された先進国の水準 (日本円で 1 トン- $\mathrm{CO}_{2} \mathrm{eq}$ 1,000 円 16,000 円)よりとても低い. よって, 削減のための十分なインセンティブにならないという懸念もある。また, 政府予算では諸外国では一般会計への計上が多い中, 特別会計へ繰り入れられており，使途は「省エネ対策，再生可能エネルギー普及，化石燃料クリーン化等のエネルギー起源 $\mathrm{CO}_{2}$ 排出抑制. に限定されている[9]. つまり, 欧州が志向した Binswanger $の$ 環境税制改革の理論は下敷きにされておらず，温対税はあくまで気候変動政策の枠組みの中で完結しているという体裁である.

このように，環境税は他の気候変動政策と比べて影響範囲が広く効果があると言われている反面, 削減効果の担保の難しさや, 特定産業の負担増による産業の衰退, 所得の低い層ほど税負担が大きくなる逆進性の問題がある[10]. また, 既存産業への経済的負荷と気候変動による社会的費用のバランスをどう取るか, 財政赤字をどのように立て直すか, 税制改革として景気刺激策と気候変動政策が両立する形は実現可能かなど, 環境問題を超えた論点を包含する. よって環境税に対しては様々な政策主体の思惑が絡むと思われるため, 本研究では上記のような論点やそれに対する意見, 対立構造について, 国会議事録を活用した言説空間の分析という形で調査を行う.

## 2 関連研究

環境税をめぐる言説空間の研究事例は少ない. 気候変動政策全般に関する言説やネットワーク分析は， Comparing Climate Change Policy Networks(以下「COMPON」) という研究プロジェクトが中心的役割を果たしている[11]. COMPONにおける日本を対象とした研究では, 2050 年カーボンニュートラル宣言をしている自治体を対象とした気候変動政策に関する調査票調査[12], 環境政策におけるドイツと日本の言説ネットワークの比較[13]などがある．個別の制度に着目した研究では，再生可能エネルギーの

「固定価格買取制度」に関する政府・政党・利益団体の間の政策ネットワークの研究がある[14]. ただし, COMPON は社会学分野の研究が主流であり, 方法論としては質問紙調查や統計的手法が取られているが，国会議事録などの大量のデータを対象としたものは少ない.

機械学習の分野では，文書をあらかじめ与えられたカテゴリに分類するテキスト分類の研究が行われてきたが政治領域のテキストを機械学習に基づき分類する研究は，ごく僅かに見られる程度である。一例としては，気候変動の「適応策」についての記述を政策文書から特定し, 適応, 緩和，非気候のいずれかに分類するために ANN モデルを利用している [14]. 当該研究では, 分類結果を用いて経年での政策変化を分析している.

国会議事録に着目した研究として, 猫本らは議員が議案に対するスタンスを 2 値(賛成 or 反対)に判定する BERT ベースの分類器を構築した. 提案手法の分類精度はベースライン手法より高く得られた [15]. 中川らの研究では, イデオロギーの区分として政党を用い, 国会における議員の発言について, 政党を特徴付ける要素の検討を行った. ランダムフォレストによる議員の発言を分析した結果, 感動詞の比率と語彙の多様性について政党間の差異が大きい傾向が示唆された[16]. 小柴らの研究では, 議会と行政の相互作用を広範かつ定量的に分析する手法を検討した. 具体的には, 各議事録から機械的に抽出された代表語の類似性と時間的前後関係のみで, 影響の有無を推定する粗い指標である[17].

## 3 分析仮説

本研究では，二つの仮説を設定する。

仮説(1) 自民党は, 政権与党として, 国民の負担増や経済停滞，その他気候変動以外の国内外の課題も考慮し政策を決定する必要があるため, 環境税導入に消極的な傾向がある.

仮説(2) 経産委員会は, 国民の負担増や経済停滞を懸念し環境税導入に消極的な傾向がある。一方で環境委員会は，実効的な環境政策を推進する観点で積極的な傾向がある.

これらの仮説は, COMPON の関連研究や過去の政策立案の経緯, メディア報道の傾向から導き出した.民主党については, 主要政党の解党により明確な仮
説の設定が難しいが，民主党員からの発言を対象に，仮説(1)で想定する自民党のスタンスとの比較分析を行う. 仮説(1)と仮説(2)双方について, カーボンプライシングの具体策として環境税と並列で言及される排出量取引制度[18]に関する発言およびこれに対する返答のデータも取得し，比較分析を行う。

## 4 データセット

国会議事録検索システムより,「環境税」(ただし, $\mathrm{CO}_{2}$ 排出に対して課税することを意味しない，「森林環境税」を除く) または「炭素税」を含む発言およびこれに対する返答を取得した(データ A)。また，「排出量取引」または「排出権取引」(以下「排出量取引」に用語を統一する)を含む発言およびこれに対する返答も取得した(データ B).これらのデータは 1987 年から 202 2 年の期間に発言された記録である. データ $\mathrm{A} およ$ びデータ B に関するデータセットの件数を表 1 に記載した.

表 1 分析用データセット

## 5 分析手法

データ $\mathrm{A}$, データ $\mathrm{B}$ に対して, 同様の方法で特徴量を作成し，モデルを構築した。

## 5.1 特徴量の作成

$\mathrm{MeCab}$ を用いて, 名詞に該当する形態素を抽出した.この際, 平仮名のみ, 2 文字以下のカタカナのみ， 1 文字のみのいずれかに該当する場合は除外した. 発言に各形態素が含まれるか否かの 2 值となる Bag Of Words で特徴量を作成した。学習データにおける発言数より特徴量の次元数 (2864 次元) が大きいため次元削減を行った. データ $\mathrm{A}$ および $\mathrm{B}$ を合わせたデータに対して，分散 $\operatorname{Var}[\mathrm{X}]=p(1-p)$ について $p=0.08$ の時の分散より小さい特徴量を除外し 179 次元にした[19].

## 5.2 モデル

スパースモデリングの文脈で広く知られている
L1 正則化項付きのロジスティック回帰を適用した.以下の式を最小化することでパラメータを推定した。 ここで， $X_{i}$ は $i$ 番目の特徴量， $w$ は推定するパラメー 夕で偏回帰係数， $y_{i}$ は $i$ 番目の目的変数である.

$
\hat{p}\left(X_{i}\right)=\frac{1}{1+\exp \left(-X_{i} w-w_{0}\right)}
$

$
f\left(X_{i}\right)=-y_{i} \log \left(\hat{p}\left(X_{i}\right)\right)-\left(1-y_{i}\right) \log \left(1-\hat{p}\left(X_{i}\right)\right)
$

$
\min _{w} \prod_{i=1}^{n} f\left(X_{i}\right)+\|w\|_{1}
$

上記のモデルを用いて，4 つのモデルを作成する. モデル名とデータの対応を表 2 に示した.

表 2 モデル名とデータの対応

## 6 結果

## 6. 1 モデルによる予測精度

5 分割のクロスバリデーションによる予測精度を表 3 にまとめた.

## 6.2 モデルにより抽出した関連用語

モデル 1 からモデル 4 で推定結果を付録表 4 にまとめた. モデル 1 およびモデル 3 の構築時に,「自民党」を 1 ，「民主党」を 0 として目的変数を扱っているので，正の值にある形態素は自民党らしさを表す。一方で，負の値にある形態素は民主党らしさを表す. 同様に，モデル 2 およびモデル 4 の構築時に，「経産委員会」を 1 ，「環境委員会」を 0 として目的変数を処理しているので，正の値にある形態素は経産委員会らしさを表す。一方で，負の値にある形態素は環境委員会らしさを表す。

## 7 考察

## 7. 1 所属の違いによる発言傾向の分析

分析結果は仮説(1)を部分的に支持するものであっ

た. 具体的には，自民党による発言は，気候変動に対して, 経済成長や食糧・海上等の安全保障等, 他の重要課題と並列で言及し，いずれの課題も等しく対策を講じなければならないことを主張するものが散見された.こうした傾向は統計的に有意な「我々」，

「我が国」，「現在」，「必要」などの用語に現れている。また, 自民党に特徴的な点としては, 発言の導入部分で「先生のおっしゃる通り」といった専門家の見解を重視する傾向も見られた. なお, 全ての発言が環境税に否定的ではなく, 現在ある温対税の整理等と合わせて, 導入すべきであるという発言も，特に環境省に属する環境大臣等から少なからず見られた. 比較分析を行った排出量取引については,発言の内容に自民党に特徴的な用語はなかったが,

環境税と同じく専門家の意見を重視する傾向があり，

「先生」のみが統計的に有意な用語となった.

環境税に対する「民主党」の発言としては，「再生可能エネルギー」の比率上昇など, エネルギー政策とセットで環境税に言及するものが最も多かった。 その他統計的に有意な単語としては「拡大」や「部分」などがあるが，いずれも用語の使われ方は文脈に応じて様々である。環境政策の文脈では，例えばエコポイント対象品目の「拡大」やエコ設備等の需要「拡大」, ガソリン税の「部分」と組み合わせた環境税導入のためのグリーン税制改革の提案といったものが見受けられた。

## 7.2 委員会の違いによる発言傾向の分析

分析結果は仮説(2)を支持するものであった．環境税に対する経産委員会の発言では, 「省エネ」や「影響」，「負担」などの用語が統計的に有意かつ特徴的である。「省エネ」は省エネ法や省エネ税制への言及と並んで, 省エネ設備に対する需要喚起や投資による景気刺激を期待する発言が散見された。「影響」は，環境税導入による国民経済や産業・雇用に対する「影響」についての言及，「負担」は環境税導入によるエネルギー事業者や低所得世帯, 中小企業に対する「負担」増を懸念する発言が多く，この二つが経産委員会の環境税に対するスタンスを顕著に示す用語であった。

環境税に対する環境委員会での発言では, 気候変動対策を民間に任せず「行政」が行っていくという姿勢を示すものが多かった。「環境行政」という単語で言及されることが多く, 小さい政府や事業仕分けが注目された時勢においても，環境政策について
は行政が行うべきだという姿勢を示す文脈で同用語が散見された．また，色々な文脈があるが，環境税については国民の「理解」や「協力」が必要であるという趣旨の発言も見られた.

比較分析を行った排出量取引については, 経産委員会における発言では，「産業」や「エネルギー」 といった用語が統計的に有意となり，対環境税ほど消極的な姿勢を示す発言は少なかった。また，エネルギー政策と一緒に言及されることが多いという傾向があった. 環境委員会における発言では,「吸収」 という用語が上位にあるように，エネルギー政策というよりむしろ森林や海洋の $\mathrm{CO}_{2}$ 吸収源を重視した姿勢が経産委員会のスタンスと対照的であった. また, 制度的な複雑さ・難しさの懸念を示す「段階」，

「説明」などの発言が一部あったが，文脈によって様々で統一的な特徵は見出せなかった。

## 8 おわりに

本論文ではロジスティック回帰を用いた国会議事録の分析で，環境税および比較対象としての排出量取引制度に対する，政党および委員会の発言傾向の違いを偏回帰係数に着目して分析し, 各政策主体のスタンスの違いに関する仮説に対して検討した。

モデル構築の観点では，パラメータチューニングや異なるモデルを利用することで新たな関連用語を導き, 比較対象の違いの理解を深める効果が期待される. 今回のモデルは分析データの件数に比べて特徴量が多いため, ロジスティック回帰に適用する前に変数選択をしており, L1 正則化ロジスティック回帰のみで構築していた. 発言件数が限られているため, これらの違いを分析するには制限があるが, 政治家の公約や政策活動費などの異なる記録を扱うことで, 政党ごとの違いをより詳細に評価することができると考えている.

定性分析の観点では，今回は二つの政党と二つの委員会に限定して分析を行ったが，分析対象以外の政党や会議体で，環境税に親和的な政策主体が見られるか，それはなぜか等の観点での追加分析を行うことで, 環境税をめぐる言説空間をより正確に把握できるだろう。また，モデルの精度向上の観点で言及した, 政治家の公約や政策活動費などの国会議事録以外の記録に加え，新聞報道等も分析対象に加えることで，政策主体の発信するシグナルを，世間がどのように受け止めているかという視点で, 拡大された言説空間を導くことができると考える。

## 参考文献

1. 令和 2 年度エネルギーに関する年次報告 (エネルギー白書 2021) “第 2 節諸外国における脱炭素化の動向”，経済産業省資源エネルギー庁: htt ps://www.enecho.meti.go.jp/about/whitepaper/2021/ html/1-2-2.html, 2022-11 閲覧

2. 日本の $\mathrm{NDC}$ (国が決定する貢献). 地球温暖化対策推進本部: https://www.mofa.go.jp/mofaj/files/1 00285591.pdf, 2022-10 閲覧.

3. 環境税の課税根拠(一), 伊藤嘉規, 富山大学紀要. 富大経済論集, 第 59 巻第 3 号, 2014.03, pp. 435-465.

4. 環境税の具体案. 環境省: https://www.env.go.jp/policy/tax/051025/01.html, 2022-11 閲覧

5. 環境税(地球温暖化対策税)とエネルギー関係諸税について, 篠原克岳, 税大論叢 61 号, 2009 年 6 月 25 日

6. "DICE 2013R: Introduction and User's Manual," Nordhaus, W.D., and Sztore, P., 2013.

7. 新たなエネルギー税のあり方一電気やガスの消費に対する課税一, 柴由花, 税大ジャーナル 25 2015.4.

8. 諸外国における炭素税等の導入状況, 環境省: $h$ ttps://www.env.go.jp/policy/tax/misc_jokyo/attach/i ntro_situation.pdf, 2022-11 閲覧

9. 地球温暖化対策のための税の導入. 環境省: http s://www.env.go.jp/policy/tax/about.html, 2022-11 閲覧

10. カーボンプライシングの活用に関する小委員会 (第 13 回)議事次第・配付資料, 資料 2“炭素税について”環境省: https://www.env.go.jp/council/06 earth/13_3.html, 2022-11 閲覧
11. Climate change policy networks: Why and how to compare them across countries, TuomasYlä-A nttilaa, et al., 2018

12. 地方自治体の 2050 年二酸化炭素排出実質ゼロ宣言 : 気候変動政策に関する自治体調査から,辰巳智行ら, 静岡大学情報学研究, 26 巻, p. 1 22, 2021-03-28

13. Analysis of the Policy Network for the "Feed-in Tariff Law" in Japan: Evidence from the GEP ON Survey, Okura, Sae et al., Journal of Cont emporary Eastern Asia, Volume 15, Issue 1, Pa ges.41-63, 2016

14. Machine learning for research on climate change adaptation policy integration: an exploratory $\mathrm{U}$ $\mathrm{K}$ case study. Biesbroek, R. et al., Reg Enviro n Change 20, 85 (2020).

15. 議会における明示的な賛否表現を含まない議員発言を対象としたスタンス分類データセットの構築と評価，猫本隆哲，秋葉友良，増山繁，言語処理学会第 28 回年次大会発表論文集, 2022 年.

16. ランダムフォレストを用いた国会会議録のイデオロギー分析, 中川侑, 武田拓也, 吉元涼介,芳鐘冬樹, 第 15 回情報科学技術フォーラム( $\mathrm{F}$ IT2016).

17. 議事録を用いた我が国における議会・行政の関係性分析手法, 小柴著, 森川想, 人工知能学会論文誌, 2019.

18. カーボンプライシング. 環境省: https://www.env. go.jp/earth/ondanka/cp/index.html，2022-12 閲覧.

19. scikit-learn User Guide 1.13. Feature selecton $\mathrm{h}$ ttps://scikit-learn.org/stable/modules/feature_selecti on.html, 2022-12 閲覧.

## A 付録

表 3：モデル 1 からモデル 4 の ROC-AUC

表 4：モデルにより推定された偏回帰係数の正負と $5 \%$ 有意水準を満たす形態素

 & 形態素 (偏回帰係数の絶対値が大きい順に記載) \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 自己相互情報量と単語群一致度を組み合わせた 臨床研究関連法規の類似性評価の検討

大城絢子 1 岡崎威生 2 植田真一郎 3
1 沖縄国際大学 経済学部 2 琉球大学 工学部
3 琉球大学 医学部 臨床薬理学講座
a.ohshiro@okiu.ac.jp okazaki@ie.u-ryukyu.ac.jp
blessyou@med.u-ryukyu.ac.jp

## 概要

臨床研究は現在 3 つの指針・省令・法に則っておこなわれている.これらの類似関係を可視化することで、臨床研究の研究者は多忙な診療業務をこなしながらも複数の法令の関係を解釈することができる. 本研究では、これらの法令の条文間の類似性を定量的に評価するために、相互情報量と複数の単語 (単語群) の一致度・一致単語群の発生頻度・そしてこれらを組み合わせた類似尺度を提案した. 類似性推定精度の性能比較実験の結果、既存の尺度に比べ推定精度が改善された組み合わせがあったことを確認した。

## 1 はじめに

治療法改善や診断ガイドライン検討といった医療の質の向上には、診療現場で生じた臨床的疑問を解決する「臨床研究」が必要である. またその結果は、診療はもちろん患者の予後に影響するため、適切に実施することが重要である. そのため、臨床研究の実施においては既に定められた省令や法令、指針に沿うことが求められる。

例えば 1997 年には「医薬品の臨床試験の実施の基準に関する省令 [1]」(Good Clinical Practice、以後 GCP 省令とする) が施行され、その内容は多くの研究者に定着していると考えられる。一方で、過去 10 年においてデータ操作や利益相反に関する問題が発生し、その不適正事案に対する対策として、2015 年には「人を対象とする医学系研究に関する倫理指針 [2] (以後、倫理指針とする)」の見直し、2018 年には「臨床研究法 [3]」が施行されたことで臨床研究は法律化され、現在 3 つの指針・基準・法令のもとにある. そのため臨床研究を実施する研究者はこ
れらの法規に沿った研究を害施することを求められている、しかし、多忙な臨床業務をこなしながら、 これらの法規を完全に理解することは容易ではないため、これらの法令を扱う関連部署の支援を受けることも多い. またこのような状況は臨床研究関連の法対応に限ったものではなく、例えば地方自治体で定められる条例など、内容は類似するものの地域により異なる点などは法務の専門家の手作業により比較されている [4]. これらの作業に対し、コンピュータを用いた言語処理のアプローチを導入することにより、作業コストの軽減が期待されている [5][6][7][8]. 特に近年では、BERT[9] の文書ベクトル機能やDoc2vec[10] などの Deep Learning を用いた法令間の条文比較などの取り組みも盛んになっている. それにより類似した法律の対応づけなどの取り組みも行われている [11][12]. 臨床研究関連の法令においても既述の 3 つの指針・基準・法令間の関係を可視化することで、診療多忙な臨床研究の研究者が複数の法規の関係を把握することができると期待できる。

本研究では臨床研究関連法規間の関係を可視化するために、各法規の各条文間の全ての組み合わせについての類似性予測の精度を向上させることを目的としている.これまでに、word2vec や topic model を用いて関連法規の解釈や法令間の関連性解釈の可能性について考察してきた [13][14]. さらに含まれる共通単語数が多い文章は類似度が高いという仮説のもと、「単語一致度」をもとにこれら 3 法令の各条文間の類似度を予測した [15]. 正誤検証の結果、意味的に「類似性が高い一致」である組み合わせが正しく獲得された一方で、「類似性が低い/不一致」である組み合わせの条文の類似度が高いとされたケースもあり、課題が残った。

そこで次に、単一の単語ではなく、複数の単語である「単語群」の一致度と複数の単語の同時出現確率を示す自己相互情報量 (Pointwise Mutual Information)を組み合わせて用いることで、各条文間の類似性を予測する尺度を提案した. 本稿ではその内容と、既存の類似尺度との性能比較実験の結果について報告する.

## 2 条文間類似性の定義

本研究の目的は図 1 のように、臨床研究を対象とした既述の法令である $L_{1}$ 倫理指針、 $L_{2} \mathrm{GCP}$ 省令、 $L_{3}$ 臨床研究法の各条文間の類似性を求めることである.

図 1 臨床研究関連法令の条文間の類似性を示した例

図 1 では、例えば $L_{1}$ 倫理指針の第 12 条と $L_{3} \mathrm{GCP}$省令の第 10 条の類似性が高いことを意味している.本稿では、条文間の類似性について複数の仮説を設定した. 複数の単語の組み合わせ (以後、単語群とする) の一致度が高い場合、条文同士の類似性は高くなると考えられる. また一致度に加え、同時に出現する確率 (PMI) の高い単語の組み合わせがある場合、条文同士の類似性は高いと考えることもできる。 さらに一致する単語群の発生頻度が高いほど、条文同士の類似性は高いと考えられる。ここで単語群の発生頻度は条文の長さに比例するため、単語群の発生総数 $F\{x, y\}$ における比率を配慮する必要がある。以上より、これらの仮説を組み合わせ整理すると以下のようになる。

仮説 1 単語群 (2 組)の一致度が高いほど条文間の類似度は高い (Word Group Match：WGM とする)

仮説 2 「単語群の一致度+PMI」が高いほど条文間の類似度は高い (WGM+PMI)

仮説 3 一致した単語群の発生頻度が高いほど条文間の類似度は高い (Frequency Of Word Group Match：FWG とする)

法令 $L_{a}$ の $i$ 条、法令 $L_{b}$ の $j$ 条において 2 つ単語 (単語群) $w_{x, y}$ が出現する場合、その相互情報量 $P M I(x, y)$ は式 (1)のように定式化できる.

$
P M I(x, y)=\log \frac{P(x, y)}{P(x) P(y)}
$

また法令 $L_{a}$ の $i$ 条、法令 $L_{b}$ の $j$ 条における単語群 $w_{x, y}$ の一致度を $W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}$ 、とすると、条文間の類似度 $S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}$ は単語群の発生総数 $F\{x, y\}$ を用いて式 (2)のようにも定式化できる.

$
S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}=\frac{W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}}
$

以上より、本稿では、これらの 3 つの仮説に基づき、条文間の類似度 $S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}$ について 3 つの類似尺度を定義した。

$
\begin{gathered}
P M I=\frac{P M I(x, y)}{F\{x, y\}} \\
P M I+W G M=\frac{P M I(x, y)+W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}} \\
F W G=\frac{W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}}
\end{gathered}
$

本研究では臨床研究を対象とした法令 3 つ取り上げ、全条文の全ての組み合わせについて類似度を算出した. 具体的な手順を以下に示す.

1. 全条文間の全ての組み合わせについて類似度を算出

2. 全類似度の分布をもとに 4 段階の順序尺度「一致/高い類似性/低い類似性/不一致」に変換

3. ベンチマークデータとの順序相関係数を算出し推定精度とする

## 3 精度比較実験

## 3.1 用いる法令データ

臨床研究を対象とした法令である倫理指針 $L_{1}$ (全 23 条)、臨床研究法 $L_{2}$ (全 43 条)、GCP 省令 $L_{3}$ (全 59 条) の各法令の全条文の組み合わせ数は、 $\left.\{L_{1}, L_{2}\right.\}+\left.\{L_{1}, L_{3}\right.\}+\left.\{L_{2}, L_{3}\right.\}=23 * 43+23 * 59+43 * 59=4883$ となる. 本研究ではこれらのうち、各法令組み合わせより 30 組選択し、 $30 * 3=90$ の組み合わせについて臨床研究の専門家に評価を依頼しベンチマークデー タを獲得した。

## 3.2 評価指標

提案手法を用いて算出した類似度の精度を、ベンチマークデータを用いて評価した。各条文間の類似
性を評価したベンチマークデータは、臨床研究の専門家にあらかじめ「一致/高い類似性/低い類似性/不一致」の 4 段階による尺度で評価を依頼し表 1 のように獲得した。 3 法令の条文の全組み合わせのうち 30 組について評価を依頼した。性能比較には、既存の手法として Doc2 Vec、単語一致度、Simpson 係数を用いた。

類似度の推定精度は、ベンチマークデータとの順序相関係数を用いて $[0,1]$ で評価した。

## 3.3 比較結果

既存の文章類似度推定手法として単語一致度 ・ Doc2vec・Simpson 係数を挙げ、これらに対して本稿にて提案した類似度尺度である WGM+PMI、PMI、 FWG との推定精度を比較した. Simpsons 係数と似た考え方の類似尺度に Jaccard 係数や Dice 係数があるが、本稿では事前実験の結果、精度が高かった Simpson 係数の結果を採用している. 3 つの法令の組み合わせ $\left.\{L_{1}\right.$ 倫理指針、 $L_{2}$ 臨床研究法\}、 $\left.\{L_{2}\right.$ 臨床研究法、 $L_{3} \mathrm{GCP}$ 省令 $\} 、\left.\{L_{1}\right.$ 倫理指針、 $L_{3} \mathrm{GCP}$ 省令 $\}$ の比較結果を表 2 に示す.

はじめに結果の解釈について述べる. 推定精度として用いている順序相関係数が 1 に近いほどベンチマークデータと正の相関関係にあることを意味し、推定精度が高いと解釈できる. 負の値をとりかつ-1 に近い場合、類似度がベンチマークデータと負の相関関係になっていることを意味する。これは例えばベンチマークデータにおいて「一致/高い類似性」と判定されている組み合わせに対して「低い類似性/不一致」と推定したことを意味する。

単語一致度を用いた場合、相関係数が負の値や低い正の値をとっていることから、推定精度が低いことを示しており、単語の一致数のみで類似度を求めることが困難であることを示している. Doc2vec も同様のパターンの結果となっている. 一致した単語群の発生頻度を類似尺度に適用した FWG を用いた場合、他の手法と比べ推定精度が低く頻度情報のみ用いた場合だと類似性を評価することが困難である
ことを示している. $\left.\{L_{1}\right.$ 倫理指針・ $L_{2}$ 臨床研究法 $\}$ の組み合わせにおいては単語一致群と PMI を組み合わせた「WGM+PMI」や「PMI」を用いた場合、上記の既存の尺度や Simpson 係数の適用時より精度が改善さたことがわかった. また $\left.\{L_{2}\right.$ 倫理指針・ $L_{3} \mathrm{GCP}$省令了の組み合わせについては他の組み合わせに比べ推定精度が悪いこともわかった. Simpson 係数とのハイブリッド適用などにより、類似尺度の推定精度をさらに改善させる必要があることがわかった。

## 4 おわりに

自己相互情報量と単語群一致度・単語群発生頻度とそれらを組み合わせた類似尺度を提案し、臨床研究を対象とした 3 つの指針・省令・法間の条文の類似性を数値化した. 性能比較実験の結果、既存の類似尺度より類似度推定精度が改善された組み合わせがあること・既存の尺度との組み合わせによりさらに改善が期待できることを確認した. また性能としてはまだ改善の余地があり、実際の適用レベルを目指すにはまだ改善が必要である. 今後の課題として BERT の文書ベクトルや固有表現抽出機能を用いたパターンとの性能比較もおこない、Deep learning や既存の類似尺度とのハイブリッドな手法の構築も試みていく.
表 2 各類似尺度による推定精度の比較結果

## 謝辞

本研究は科学研究費補助金 $20 K 18854$ の助成を受けたものである.

## 参考文献

[1] 医薬品の臨床試験の実施の基準に関する省令 (平成 9 年厚生省令第二十八号) "医薬品の臨床試験の実施の基準に関する省令 | e-Gov 法令検索", (accessed 2020-09-03)

[2] 文部科学省. 厚生労働省. 人を対象とする医学系研究に関する倫理指針 (平成 26 年 12 月 22 日. 平成 29 年 2 月 28 日一部改正) [https://www.mhlw.go.jp/file/06Seisakujouhou-10600000- Daijinkanboukouseikagakuka/0000153339.pdf (accessed 2020-09-03)]

[3] 臨床研究法 (平成 29 年法律第 16 号) "臨床研究法| e-Gov 法令検索", (accessed 2020-09-03)

[4] 藤井真知子, “市町村合併における自治体法務の現状と課題 : 甲賀市の条例整備を手がかりとして” 龍谷大学大学院法学研究紀要論文, 9 号, pp. 181-214, 2007.

[5] 角野篤泰. スーパーコンピュータを用いた自治体例規の類似度分析と例規データベースへの応用. 名古屋大學法政論集, Vol. 246, pp. 91-69, 2012.

[6] 竹中要一, 若尾岳志, “地方自治体の例規比較に用いる条文対応表の作成支援” 自然言語処理, Vol. 19 No. 3, pp.194-212, 2012.

[7] 小山凱丈, 佐野智也, 竹中要一, “明治民法制定時における日仏民法条文の参照関係再推定”言語処理学会第 25 回年次大会発表論文集, pp.398-401, 2019.

[8] 小山凱丈, 佐野智也, 竹中要一, "明治民法と各国民法との条文類似関係にもとづく立脚点の解析" 言語処理学会第 26 回年次大会発表論文集, pp93-96, 2020

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "Bidirectional Encoder Representations from Transformers",

[10] Quoc V. Le, Tomas Mikolov, "Distributed Representations of Sentences and Documents", proceedings of the 31st International Conference on Machine Learning, PMLR 32(2):1188-1196, 2014.

[11] 長裕樹, 中村誠, "BERT を用いた比較法研究における類似条項の対応付け", 言語処理学会第 28 回年次大会発表論文集, pp948-951, 2022

[12] Kaito Koyama, Tomoya Sano, Yoichi, "The legislative study on Meiji civil code by machine learning", Fifteenth International Workshop on Juris-informatics (JURISIN

## 2021)

[13] 大城絢子, 植田真一郎, “臨床研究を対象とする各法令の特徴抽出とそれらの関連”, 電子情報通信学会総合大会, D-5-4, 3 月, 2019.

[14] 大城絢子, 植田真一郎, "テキストマイニングによる臨床研究関連法令の特徴と関連性解釈の可能性", 電子情報通信学会,pp35-pp,2019

[15] 大城絢子, 岡崎威生, 植田真一郎, "単語一致度を用いた臨床研究関連法規の関係可視化の検討", 臨床薬理. 2023; 54(1): (in press)


# マスク言語モデルにおける重点的なマスク選択での 追加的学習を用いた法律文書による人物役割語の推測

翁長駿光 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1,2}$
静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻
\{tonaga, mfujita, kano\} @kanolab.net

## 概要

人物の文中での役割の把握は，自然言語処理において広く重要な課題であり, 特に法律分野の文書の処理では，その分析と利用のために必須と言える。本研究では, 日本語の事前学習済み BERT モデルに対し，あらかじめ設定した人物語を重点的にマスクしたMasked Language Modelによる追加的な学習を，法律分野の文書を用いて行った. 司法試験の問題文における人物役割語の推論に適用した結果, 提案手法による性能向上を確認できた.

## 1. はじめに

人物の文中での役割の把握は，自然言語処理において広く重要な課題であるが, 役割間の関係性や階層など背後にある複雑な知識を反映させる必要があり，難易度の高いタスクといえる。

法律分野は自然言語処理技術の利用が大きく期待されている応用分野の一つであり, そこでの人物役割把握は必須要素である. 法律分野の文書処理では， こうした人物関係および役割の把握や専門性の高い用語といった難しい処理が重要になるが，そのための自然言語処理技術の性能は未だ不十分である.

人物役割の先行研究にはたとえば物語テキストを対象とした登場人物の関係抽出 [1]などがある。日本語法律文書を対象にした研究には, 日本語法律 BERT [2]を用いた重要箇所抽出 [3] や司法試験自動解答を題材にした BERT による法律分野の含意関係認識 $[4]$ があるが，人物役割を推測するものは見当たらない.

本研究では, 法律分野の文章における人物関係および人物の役割の推測を目標とする。そのために，日本語事前学習済み BERT に対して, あらかじめ設定した人物役割語を他の語よりもマスクされやすくした処理を追加した Masked Language Mode1 (MLM) による追加学習を, 日本語の法律文書を用いて行っ
た. 我が国の司法試験自動解答を題材とする COLIEE Task4 で提供された問題を用いて, 問題文中の人物役割語を推測する人物推論タスクを実行し，提案手法による性能向上を確認した。

<問題番号 ：H18-32-5, 正解ラベル：No >
<関連条文〉
第百九十二条取引行為によって，平穏に，かつ，
公然と動産の占有を始めた者は, 善意であり，か
つ，過失がないときは，即時にその動産について行
使する権利を取得する.
<問題文〉
強迫を受けてした動産売買契約を取り消した売主
は, 取消し前に買主から当該動産を善意かつ無過
失で買い受けた者に対して，所有権に基づいて，当
該動産の返還を求めることができる.

図 1 COLIEE Task4 の提供データ例

## 2. 関連研究

法律分野の自然言語処理技術の性能向上とコミュニティ構築を図るため, 国際コンテスト型ワークシヨップ COLIEE (Competition on Legal Information Extraction and Entailment）[5［6] [7]［8が毎年開催されている. COLIEE にはいくつかのサブタスクがあるが，そのうち Task 3,4 は日本の司法試験民法短答式問題を題材にした自動解答タスクである. Task4 は図 1 のように, 司法試験に過去に出題された問題とその問題を解く上で手掛かりとなる関連民法条文の二つが与えられ，その関連する民法条文に対して問題文が含意関係にあるかを二値で判定するタスクである。

COLIEE 参加者の自動解答器には，BERT [9]をはじめ深層学習ベースの解答器が多数みられる.このような深層学習を用いた司法試験の自動解答について，清田ら [10]は人手の問題分類を通して深層学習モデルが司法試験を解けているかを分析している．分類の一つは, 図 2 のような問題文中における $\mathrm{A}$ や $\mathrm{B}$

といったアルファベットで表された人物語の関係性や，それぞれの人物が関連する民法条文中におけるどの役割にあてはまるのかが回答に必要なタイプの問題である.このような, 人物関係や人物がどのような役割を担うか明らかにする必要がある問題の推測は，既存の回答では不十分であることが示唆されている.

## 3. 提案手法

提案するマスク手法と従来手法との比較を容易にするため, 深層学習モデルとして BERT を用いる. 事前学習済みの日本語 BERT モデルを前提に, Masked Language Mode1 (MLM)による追加的な学習を行う.

その追加学習時に, より重点的に学習させたい語句をマスクして学習させる. 本研究で利用するトークナイザはこの事前学習済みモデルのもので統一する.

重点的に学習させたい語句は, 本研究では, 法律分野における人物役割語とし，民法条文に記載されている「人, 者, 主」で終わる漢字で構成される単語と「相手方」を合わせて 74 語を人手で列挙した (74 語の詳細については付録を参照).

## 3.1 事前学習モデルへの追加的学習

追加的な学習では, 以下の 3 つの前処理に応じたモデルを作成する. それぞれの前処理で得られるト ークン列について, [MASK]トークンを推測させる学習によりモデルを訓練する。

ランダム $15 \%$ マスクモデル $(15 \%$ ) 従来の BERT の MLM と同様に，トークン全体の $15 \%$ ランダムで選択する.ランダムに選択されたトークンのうち, $80 \%$ を[MASK]トークンに, $10 \%$ はランダムに選ばれた別のトークンに置きかえ, 残りの $10 \%$ は元のトークンのままモデルに与える.

## ランダムマスク＋人物語マスクモデル $(15 \%+$ 人

物語） 入力にあらかじめ定めた人物役割語が含まれている場合，それらのトークンを[MASK]トークンに置き換える. 次に前述のランダム $15 \%$ マスクモデルと同様の処理を行うが，選ばれたトークンが人物役割語に対応するものであった場合は, [MASK]のままにし，何もしない。

人物語マスクモデル (人物語) 人物役割語のトークンのみを[MASK]トークンに置き換える. 人物役割語が含まれていないサンプルについては学習に使用しない.

上の 3 つのモデルと, 追加学習をしていない日本語事前学習済み BERT モデルの 4 つを, 次節の人物役割語推測タスクによって比較する.

## 3.2 人物役割語の推測

人物役割語の推測は $[\mathrm{MASK}]$ を言語モデルにより推測して実行するため, 前節で説明した以上の学習は行わない.

人物役割語は語によって 2 トークン以上のサブワ

一ドに分割されることがある.このため，単にトー クン単位で[MASK]に置き換えると，[MASK]トークンの連続する数が人物語を予測するヒントになる可能性がある。人物役割語の推論にあたっては, 推測対象の役割語についてマスク前のトークン数を既知として固定する場合と，トークン数を未知として任意のトークン数で推測するより実用的な設定の 2 種類を試みる。

人物役割語あたりのトークン数固定人物役割語に該当するトークンをひとつずつ[MASK]トークンに置き換え，その[MASK]トークンにあてはまるトー クンを予測させる.

人物役割語あたりのトークン数可変各人物語ごとに， 1 から 4 までの [MASK]トークンの連続数それぞれで連続する [MASK] トークンを推測する。たとえば，人物語が 1 つの場合は[MASK]トークンの数が異なる 4 パターン, 人物語が 2 つの場合は 8 パター ンの推測を行う。それぞれの推測結果について， [MASK] を推測結果で置換したうえで, MLMScoring [11]により各文章のスコアを計算し, その値が最も大きいものを最終的な予測結果とする.

いずれの場合でも，予測したトークン列が元の文章で該当する人物役割語と同じであるかどうかを，元の人物役割語の単位でカウントして評価する。

〈問題番号： R02-9-U，正解ラベル：Yes〉

〈関連条文〉

第二百条占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償を請求することができる.

〈問題文〉

A は自己の所有する工作機械を B に賃貸していたが，B は，工作機械の賃貸借契約継続中に工作機械を C に窃取された。この場合, B は, A から独立して，C に対して占有回収の訴えを提起することができる.

図 2 人物を表すアルフアベットを含む問題例

## 4. 実験

## 4. 1 追加学習用訓練データセット

訓練データとして，日本語の法律関連文書をいくつか用意し，十分なデータ量が得られるようにした。具体的には, 民法の全条文テキスト, 最高裁判所の裁判例検索システム ${ }^{i}$ より収集した日本の民事事件判例, 并護士ドットコムのデータセット [12]の 3 種類である.それぞれ以下の前処理を適用した。

民法条文 「第一篇，第一章，第一条，第一節，第一項」といった条や項の番号, および見出しは削除した。結果, 1, 381 件の条文を得た.

民事判例事件名と判決日, ページ番号, 空白および空白行は削除した. また, 文頭にある見出し番号のカタカナやアルファベット, 数字も削除した. また, 1 文をトークナイズした際に，512 トークンを超えるような文は除外した. 結果, 23,854 件の民事事件判例を得た。

弁護士ドットコム弁護士ドットコムのデータは，質問者による質問文と弁護士による質問への回答文で構成されている. このうち, 弁護士による回答の文章のみを抽出した後, その文章内に前述の人手で列挙した人物役割語のうちのいずれかが 1 つでも含まれている回答のみを残し，含まれていない回答文は除外した. また, 民法条文の処理と同様に, 1 文が 512 トークンを超えるような文は削除した.結果，38,127 件の回答を得た，

## 4. 2 人物推論用データセット

関連研究の章で紹介したCOLIEE 2022 Task4では,民法分野短答式問題の問題文とその問題を解くために必要な関連条文群のぺアが与えられた(図 1).このデータの分量は他のデータセットよりも少ないが，文章が最も整っているうえ, 関連条文とぺアになっており法律上の役割と紐づけされている。さらにその紐づけにより人間にも与えられたぺアのみで解くことができるため, テストデータに適している. まずこれらの問題文のうち, 図 2 のように問題文中に A P B といったアルファベットで表された人物が登場する問題と含まれない問題とに，アルファベットが出現するかどうかで自動分類した。次に，人

物役割語を含むデータを増やすため，アルファベッ卜を人物役割語に置換した。すなわち，「〜である

「〜」にリストの単語がマッチする場合, その問題文中にあるアルファベットを対応する人物語に置き換えた。置き換えられないアルフアベットが残った場合は除外した. 全て置き換えられた場合, テストデータの一部とする.

アルファベット人物が含まれない問題において, あらかじめ定めた人物役割語が一つでも含まれる問題をテストデータとして利用する.

テストデータについて, 関連する民法条文と問題文を $[\mathrm{SEP}]$ トークンでつなぎ, 文章をトークナイズした際に（512 - 置き換えた人物語の数 $* 4$ トークン）を超えてしまうものは最大トークン数の制約のため除外する。

最後に，問題文中に含まれる人物役割語を [MASK] トークンに置き換え, 計 458 件（置き換えた人物役割語数:1,082）のテストデータを作成した.この作成過程と例を図 3 に示す.

## 4.3 学習

日本語事前学習済み BERT モデルとして, 東北大学の bert-base-japanese-whole-word-masking ${ }^{\mathrm{ii}}$ モデルを用いた．学習時のパラメータ設定は付録に記載する.

## 5. 実験結果

表 1 に評価結果を示す. トークン数固定の場合，人物役割語を中心にマスクさせたモデルの方がより高い性能が得られた。トークン数可変（未知）の場合, トークン数固定よりも難易度の高い設定になるため全体的に性能は低いが，トークン数固定の場合と同様に, 人物語を追加でマスクするようにして学習したモデルの方が高い性能が得られた。

表 1 人物役割語推論の評価結果（正答率）

〈問題番号 ：H18-27-U，正解ラベル：No〉

〈関連条文〉

弁済の費用について別段の意思表示がないときは， その費用は，債務者の負担とする。ただし，債権者が住所の移転その他の行為によって弁済の費用を増加させたときは，その増加額は，債権者の負担とする.

〈問題文>

持参債務の債権者が履行期前に遠方に転居した場合，目的物の運送費は債務者の負担となる。

1. 関連条文と問題文を $[\mathrm{SEP}]$ トークンでつなげる。

(以下，問題文のみ表記する）

2. 関連条文と問題文の組をトークナイズする

[ 持参, 債務, の, 債権, 者, が, 履行, 期, 前, に,遠方，に，転居，し，た，場合，，目的，物，の，運送，費，は， , , 債務，者，の，負担，と，なる，.]

3.「債権者」「債務者」に該当するトークンを [MASK] トークンに置き換える。

〈置き換え後の問題文〉

[ 持参，債務，の，[MASK]，[MASK]，が，履行，期，前，に，遠方，に，転居，し，た，場合，，目的，物，の，運送，費，は， [MASK]，[MASK]，の，負担，と，なる，。]

図 3 テストデータの作成過程

## 6. 考察

人物語を追加でマスクする追加学習を行ったモデ

ル $(15 \%+$ 人物語) は, 追加学習を行っていないモデル (15\%やベースライン) よりも, 関連条文をはじめとする周囲の文脈情報をもとにした人物役割語の予測がより正解できるようになった. 例を図 4 に示す.

一方で, 登場する人物役割語が複数になった場合，複数の人物間の関係性を明確にする必要があるが， このような人物役割語の予測はできていない傾向にあった. 図 5 は, 予測する際に債務者と債権者の関係性を捉える必要があるが，全てのモデルが「債権者」が正解となる部分に「債務者」を予測してしまった例を示している.

人物役割語を重点的にマスクすることで，周囲の文脈情報から人物役割語の推測は比較的にできるよらになったと考えられるが，複数の人物間における関係性の把握は依然として課題であると考えられる. また, 図 5 の予測に見られるように，本来は「第三者」が正解であるが，「者」であっても文章は自然
であり間違いとはいえない。単純な文字列比較だけでなく意味的な評価指標も検討する必要がある.

<問題番号 : H21-3-2, 正解ラベル : Yes >

＜関連条文>

まだ引き渡されていない売買の目的物が果実を生じたときは, その果実は, 売主に帰属する。買主は，引渡しの日から，代金の利息を支払う義務を負う．ただし，代金の支払について期限があるときは，その期限が到来するまでは，利息を支払うことを要しない.

<問題文>

【売主】は, 目的物の引渡しを遅滞している場合でも，引渡しまで果実を収取することができる。 ※【】がマスクされていた人物役割語を表す.

<予測結果>

ベース BERT：買主

$15 \%$ のみ：買主

$15 \%+$ 人物語 : 売主

人物語のみ : 売主

図 4 正しく予測できるようになった例

〈問題番号：H28-20-1，正解ラベル：Yes〉

〈関連条文〉

債務者のために弁済をした者は，債権者に代位する.

〈問題文〉

【債務者】の意思に反することなく有効に弁済した【第三者】は，弁済によって当然に【債権者】 に代位する。

※【】がマスクされていた人物役割語を表し, 予測の 1,2, 3 は問題文の登場順に対応している.〈予測結果〉

BERT ：1. 債務者，2. 者 ，3．債務者 15\%のみ ：1. 債務者，2．者 ，3．債権者 $15 \%+$ 人物語 ： 1 . 債務者， 2 . 者 ，3. 債務者人物語のみ : 1 . 債務者, 2 . 第三者, 3 . 債務者

## 図 5 正しく予測できていない例

## 7. おわりに

本研究では, MLM の追加学習を行った BERTによる，法律文書における人物役割語予測を行った。追加で学習させたい語を重点的にマスクすることで，人物役割語推測の性能が向上した。今後は，人物役割語だけではなく，法律分野における専門語への適応や追加学習モデルを用いた司法試験の自動解答への活用にも取り組んでいきたい。

## 謝辞

本研究では, 国立情報学研究所の IDR データセット提供サービスにより弁護士ドットコム株式会社から提供を受けた「弁護士ドットコムデータセット」を利用した。本研究は JSPS 科研費 JP22H00804,

JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけた.

## 参考文献

1. 西原弘真, 白井清昭. 物語テキストを対象とした登場人物の関係抽出. 言語処理学会第 21 回年次大会, 2015 .

2. 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸.日本語法律分野文書に特化した BERT の構築. 言語処理学会第 28 回年次大会, 2022.

3. 宮崎桂輔，菅原祐太，山田寛章，徳永健伸.日本語法律 BERT を用いた重要箇所抽出. 言語処理学会第 28 回年次大会, 2022 .

4. 星野玲那, 狩野芳伸. 司法試験自動解答を題材にした BERT による法律分野の含意関係認識. 言語処理学会第 26 回年次大会, 2020 .

5. Mi-Young Kim, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken

Satoh. COLIEE 2022 Summary: Methods for Legal Document Retrieval and Entailment. In Proceedings of the Sixteenth International Workshop on Jurisinformatics (JURISIN 2022), 2022.

6. J. Rabelo, R. Goebel, M.-Y. Kim, Y. Kano, M.

Yoshioka, and K.Satoh, Summary of the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. In Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021, pp.1-7. 7. J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, COLIEE 2020: Methods for Legal Document Retrieval and Entailment. In Proceedings of the Fourteenth International Workshop on Jurisinformatics (JURISIN 2020), 2020, pp. 1-15.

8. R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, COLIEE 2019 Overview. In
Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9. 9. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

10. 清田直樹, 狩野芳伸, 藤田真伎. 深層学習モデルは司法試験をどこまで解いているのか：問題分類とそれに基づく分析. 言語処理学会第 28 回年次大会, 2022 .

11. Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked Language Model Scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26992712, Online. 2020. Association for Computational Linguistics.

12. 弁護士ドットコム株式会社. 并護士ドットコムデータセット. 国立情報学研究所情報学研究データリポジトリ. (データセット).

https://doi.org/10.32130/idr.12.1, 2020.

## A 付録

## A. 1 人手で選定した人物役割語のリスト

自然人，法人，本人，相手方，他人，当事者，第三者，表意者，譲受人，占有者,

譲渡人, 所有者, 地上権者, 地役権者, 永小作人, 管理人, 不在者, 債権者, 留置権者, 先取特権者,質権者，根抵当権者，抵当権者，債務者，質権設定者，根抵当権設定者，抵当権設定者，物上保証人，連帯保証人，保証人，連帯債務者，申込人，売主，買主，贈与者，受贈者，貸主，借主，賃貸人，賃借人，使用者, 労働者, 注文者, 請負人，委任者，受任者，受寄者，受託者，未成年者，成年者，成年後見人，成年被後見人，未成年被後見人，後見監督人，被後見人，後見人，保佐監督人，被保佐人，保佐人，補助監督人, 被補助人, 補助人, 被相続人, 相続人, 法定代理人, 復代理人, 無権代理人, 代理人,監督人，共有者，承継人，利害関係人，組合員，代位権者

## A. 2 BERT 学習時のパラメータ設定

max_position_embeddings : 512,

batch_size : 32 ,

hidden_size : 768 ,

hidden_dropout_prob : 0.1,

learning_rate : $1 \mathrm{e}-5$

max_epochs : 10 (early_stoppingによる早期終了あり)


# AdGLUE: 広告言語理解ベンチマーク

張 培楠 ${ }^{1}$ 坂井優介 ${ }^{2}$ 三田 雅人 1 大内 啓樹 2,3 渡辺 太郎 ${ }^{2}$

1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学 3 理化学研究所

\{zhang_peinan,mita_masato\}@cyberagent.co.jp

\{sakai.yusuke.sr9, hiroki.ouchi, taro\}@is.naist.jp
## 概要

近年、インターネット広告における自然言語処理技術の応用が盛んに行われている。広告分野では、学術的によく使われるデータセットでは出現しない表現も多く、文法的に誤った非文が許容されることもある。このような広告特有の言語現象に対処する技術が必要とされるが、共通のタスクやデータセットがないため、分野全体の研究発展が妨げられている。そこで本研究では、広告特有の言語現象や性質に対する言語理解を促進するため、5つのタスクから構成される広告分野特化の言語理解ベンチマーク AdGLUE を提案する。また、一般的な言語タスクやデータセットとの違いを分析するため、主要な既存手法でベースライン実験も行った。

## 1 はじめに

近年、検索連動型広告（図 1)を含むインターネッ卜広告市場の著しい成長 [1] に伴い、テキスト分類モデルを使ったクリック率予測 [2] やニューラル生成モデルを使った広告文生成 $[3,4,5]$ など、自然言語処理技術の多くが広告分野で応用され始めている [6]。広告分野では、短文でユーザに商品の特徵と魅力を伝え、購買行動などに繋げるよう訴求する必要がある。そのため、使用される言語表現は一般的な文章とは異なることが多い。例えば、機能語や部分的な内容語の省略や強調のために記号の使用、場合によっては文法的な誤りを含んだ非文が許容されることもある。例として、「マンションを売却したい方は、今すぐ○○で無料で査定しませんか？」 という汎用的な表現は、広告特有の表現に言い換えると「マンション売却／今すぐ無料査定」になる。 このような広告特有の表現は人間の理解を妨げるどころか、注意を引くことに繋がることが広告心理学分野で報告されている [7]。

以上のような一般的な言語資源では存在しない

図 1 検索連動型広告に関連する要素と遷移の例

特徴を有しながらも、機械翻訳や自動要約などの分野と比較して、広告における自然言語処理の研究や分析は少ない。その一因として考えられるのは、共通するタスクやデータセット、そしてそれらで構成されるべンチマークの欠如である。共通ベンチマー クがあることによって、手法の比較が容易になり、実験の手順が明確化するため、研究の活発化が期待できる。英語の一般的な言語理解を目指したべンチマークとして GLUE [8] や SuperGLUE [9] などが挙げられ、JGLUE [10] を始めとする多くの言語でも構築が進んでいる $[11,12,13,14]$ 。また、特定の分野に特化したベンチマークも存在し、PLUE [15] はプライバシーポリシーのための言語理解ベンチマークであり、BLURB [16] は生物医学分野におけるべンチマークである。しかし広告分野には特化したベンチマークが現状存在せず、一貫したデータセットなども公開されていない。そのため、広告分野での研究の多くは独自のデータと指標で評価されており、横断的な比較が難しい状況になっている。また、広告データは配信プラットフォームを保有している一部の企業にしか所持していないこともあり、それ以外の企業や学術機関からの利用が困難である。

以上のことから、我々は広告分野に特化した言語理解ベンチマーク AdGLUE (AdvertisinG Language Understanding Evaluation)を提案する。このベンチマークでは、広告運用の手順を踏まえて、広告において重要視される容認性や一貫性、魅力度などの理

表 2 広告容認性、広告一貫性、訴求表現認識タスクのデータ例。LPテキストは広告一貫性タスクでのみ使用される。 なお acceptable / not_acceptable と consistent/not_consistent はそれぞれ容認・非容認と一貫・非一貫を指している。

解に着眼して作られている。我々は一般的な言語理解と異なる広告特有の観点で 5 つのタスクを規定し、対応するデータセットを構築した。データは実際にインターネット上で掲載された広告であり、 それらに対して人手によるアノテーションを行った。また、一般的な言語タスクとの違いを分析するため、提案ベンチマークに対して主要な既存手法でベースラインで実験・分析を行った。1)

## 2 AdGLUE

AdGLUE は、表 1 のとおり広告容認性、広告一貫性、訴求表現認識、広告類似性、そして広告効果予測の 5 つのタスクから構成されている。本研究で使用される広告データはすべて実際にインターネット上で掲載された検索連動型広告である。なお、広告効果予測以外の全データセット構築において、人手によるアノテーションが行われている。アノテー ション作業者はいずれも日本語母語話者であり、ガイドラインの説明を受けた上で最大 2 回の訓練アノテーションを経験している。より詳細なデータセッ卜情報は付録に示す。

## 2.1 広告容認性

広告容認性タスクは、表 2 に示すように、ある文を広告としてみた際に容認できる表現か、容認・非容認の 2 值ラベルを推定するタスクである。なお、推定結果は正解ラベルとの Accuracy で評価する。インターネット広告において、ほとんどの媒体は表示領域を確保するための文字長制限が設けられている2)ため、広告文は限られたスペースや少ない

1）作成されたデータセットは一般公開し、オンラインからアクセスできる評価プラットフォームを提供する予定である。

2）例えば Google レスポンシブ広告ではタイトルに全角で最大 15 文字の制限を設けている。文字数で読者に印象付ける必要がある。そのため、広告文を制作する際には、人間が読み取れる範囲であえて文法を崩したり圧縮したりすることがある。一方で、過度な圧縮は読者の誤解を招いたり、意味理解を妨げる可能性もある。これは CoLA [17] など文法的に正しいかどうかを判断する一般的な言語容認性の考え方とは異なる。このように、読者の正確な意味理解の可否を広告容認性として定め、広告運用の現場においても人手で確認するステップが存在する。そこで我々は広告自動生成モデルによって生成された広告文に対して、広告運用と同じ基準で広告容認性のアノテーションを行った。アノテーション結果の一部を表 2 に示す。例えば 1 行目の「マンション売却／今すぐ無料査定」は述べている意図を問題なく読み取れるため「容認される」が、2 行目の「エンジニアの転職／土日の求人多数」は「土日の求人多数」の意味が不明なため「容認されない」結果となっている。

## 2.2 広告一貫性

広告一貫性タスクは、表 2 に示すように、広告文と広告文に紐づくランディングページ（LP）テキストが一貫しているか、一貫・非一貫の 2 值ラベルを推定するタスクである。なお推定結果は正解ラべルとの Accuracy で評価する。検索連動型広告には URLが紐づいており、図 19ようにクリックすることでその URL 先の Web ページである LP に遷移する。LPには広告文で言及した商品の詳細情報が掲載されているが、その情報と広告文で述べられている内容に齯䶣が生じる場合は顧客の信用を失うなど大きな損害が発生する。そのため、LPにある商品内容と広告文内での表現の一貫性は重要である。我々は LP テキストとして Webページの HTMLにあ
表 3 広告類似性タスクのデータ例

入力文 1 すっぽん黒酢にセラミド䩀沢配合

例 1 入力文 2 すっぽん黒酢に贅沢セラミドまで類似度 5.00

入力文 1 ご予算に合わせて贈り物を検索

例 2 入カ文 2 お得な割引商品は最大 $40 \% \mathrm{OFF}$類似度 2.33

る meta タグの description 要素を使用し、紐付いている広告文と矛盾が存在するかどうかを人手でアノテーションした。アノテーション結果の一部を表 2 に示す。例えば 1 行目の広告文は「マンション売却／今すぐ無料査定」だが、対応する LP テキストは「一户建ての査定は○○におまかせ！」で、「マンション」ではなく「一戸建て」について言及しているため「一貫していない」と判断できる。

## 2.3 訴求表現認識

訴求表現認識タスクは、表 2 に示すように、広告文がどのような訴求軸を含んでいるのか、該当する訴求ラベルをすべて推定するタスクである。なお推定結果は正解ラベルとの $\mathrm{F}$ 值で評価する。訴求とは、広告読者に対して、対象商品のメリットや魅力を訴えかけるような表現のことである。商品によって関心を持つ人が異なるため、適切に訴求できるかが広告効果に大きく影響する。このタスクでは、村上ら [18] の訴求表現データセットを使用しており、 21 種類の訴求ラベルが 2,731 件の広告文に付与されていある。3) データ例として、表 2 の 1 行目の広告文「マンション売却／今すぐ無料査定」に対しては、「無料査定」から訴求ラベルの「無料」「利便性」が、 2 行目の広告文「エンジニアの転職／土日の求人多数」に対しては、「求人多数」から訴求ラベルの「品揃え」が付与されている。本研究では村上らの研究の doc-base タスクにならって、span ではなく文全体を入力として考え、該当する全ての訴求ラベルを推定しその $\mathrm{F}$ 値を評価する。

## 2.4 広告類似性

広告類似性タスクは、表 3 に示すような広告文ぺアがどれくらい広告的に類似しているのか、 $[1,5]$ の範囲を持つ実数値を類似度として推定するタスクである。類似度は 1 に近づくほど低く 5 に近づくほど高く、推定結果は正解類似度とのピアソン相関係数およびスピアマン相関係数 [19] で評価する。

3）先行研究では大分類と小分類からなる構造だが、本タスクでは小分類のみを使用する。表 4 広告効果予測タスクのデータ例

$\begin{array}{ll}\text { 業種 } & \text { 金融 } \\ \text { キーワードローン }\end{array}$

タイトル 1 【No.1】カードローン比較サイト

タイトル 2 とにかく急ぎで借りたい方必見

タイトル 3 即日融資安心カードローン

説明文 1 周囲に内緒で借りるカードローン。24 時間スマホ完結カードローンランキング。免許証のみで申込 OK

説明文 2 初めての方も安心・コンビニATM で借入 OK なの品質スコア 82.3 で便利・22 時迄の申込で最短即日融資が可能。

STS-B [20] などの一般的な文間類似度は意味の近さを評価するが、広告類似度では言及対象の商品の同一性（商品のカテゴリ、商品内容）と訴求の同一性 （訴求軸、訴求内容）に関する評価を行う。例えば表 3 の例 1 の文ぺアはどちらも同じ商品について言及しており、かつ訴求も同じであることから類似度は最も高い 5.00 である。一方で、例 2 では商品については同じカテゴリについて言及している可能性を持つが、訴求が異なるため類似度は 2.33 と低いことがわかる。より詳細なアノテーション方法については付録に示す。

## 2.5 広告効果予測

広告効果予測タスクは、表 4 に示すように、キー ワードや広告文などの情報から広告そのものの品質スコアを推定し、その結果を正解スコアとのピアソン相関係数およびスピアマン相関係数で評価する夕スクである。入力となる情報は大きく分けて 3 種類あり、「業種」「広告文」そして「キーワード」である。「業種」は株式会社サイバーエージェント内で定めた広告の業界種別であり、合計で 4 カテゴリ存在する。「広告文」は広告そのものを異なる表現や文長で述べたテキストであり、「タイトル」と「説明文」の 2 種類存在する。4）「キーワード」は当該広告に関連する検索キーワードのことであり、同一広告文に対して複数存在することもある。表 4 の例では 「カードローン」がキーワードとして設定されているが、同じ広告文で「カードローン比較」といったキーワードの例も他に存在する。「品質スコア」は広告配信実績値をもとに算出した 1 から 100 の範囲を取る実数値で、高いほど高品質である。また、公開にあたって一部の情報を秘匿化加工している。秘匿化処理の詳細については付録で述べる。

4）「タイトル」は全角で最大 15 文字で「説明文」は全角で最大 30 文字である。なお、「タイトル 3 」と「説明文 $2 」 は$空であることも許容されている。
表 5 学習済み言語モデルによる AdGLUE の評価結果

## 3 AdGLUE を用いたモデル評価

本節では、自然言語処理における代表的な分類・回帰モデルを用いて、構築したベンチマークの評価実験を行う。実験結果を通して、提案ベンチマークの有用性や今後の課題について分析する。

## 3.1 実験設定

ベースラインモデルは日本語版 BERT [21]、 RoBERTa [22]、多言語モデルとしてXLMRoBERTa [23] を用いて、以下のようにタスクの種類に応じて fine-tuningを行った。
- 広告容認性、広告一貫性特殊トークン [SEP] で広告文とLPを接続した文字列を入力として [CLS]トークンに対する分類問題を解く。
- 訴求表現認識村上ら [18] の Doc-Based Model と同じく広告文でマルチラベリング問題を解く。
- 広告類似性、広告効果予測広告類似性タスクでは文ぺアを、広告効果予測タスクでは業種・ キーワード・広告文を [SEP] で接続し、[CLS] トークンに対する回帰問題を解く。なお、広告効果予測タスクの秘匿化に使用された [MASK_*] トークンは語彙に追加して学習を行った。

検証用データが配布されていないデータセットは学習用データの 2 割を検証用データとした。八イパーパラメータ等の実験の詳細は付録に示す。

## 3.2 結果と分析

表 5 に各言語モデルによる AdGLUE の実験結果を示す。モデルごとの性能評価を以下にまとめる。

・広告一貫性タスクでは東北大 BERT $_{\text {BASE }}$ が最高值であったが、他との差は軽微であった。
- 全体的に RoBERTa、XLM-RoBERTa モデルが高い值である。要因として両モデルは大規模 Web クロールデータ CommonCrawl [24]を用いて学習している。CommonCrawl には砕けた表現の文章や広告文が多く含まれているため、広告文の特徴をうまく捉えることができ、結果的に Wikipedia のみで学習している BERT モデルよりも高い値となったと考えられる。
- 東北大 BERT $_{\text {BASE }}$ (char) は全体的に低く、広告文に対して文字単位の処理が不適切とわかる。
- 全体的に BASE モデルよりパラメータの大きい LARGE モデルのほうが值が高いことから、パラメータ数の増加は有効であることがわかる。

・広告類似性タスクは AdGLUE 内では高いものの、日本語の文間類似度タスクである JSTS [10] と比べると低い。単純な比較はできないが、広告ドメインでの表現と一般的に使用される表現が異なることを示唆しており、より詳細な分析を必要である。
- 広告効果予測タスクでは Wikipedia のみで学習された東北大 BERT $_{\text {LARGE }}$ が最も高い值であり、 CommonCrawl で学習された他モデルを上回っている。この原因まだ特定できておらず、これからの課題としたい。

また、今回実験に用いた学習済み言語モデル群は、学習データや単語分割などの条件が統一されていない。そのため、条件を統一した実験を行い、広告理解に最適な単語分割の粒度を明らかにすることが望ましいが、この点は今後の課題とする。

## 4 おわりに

本稿では広告言語理解ベンチマーク AdGLUE を提案し、タスク設計とデータセット構築について説明した。また、各タスクの性質や一般的な言語理解との違いを分析するため、構築ベンチマークで現在主要なアプローチでベースラインで実験した。実験結果から現状で調查不足な点や未網羅な課題点が発見され、それらを今後の改善につなげていきたい。

## 謝辞

本研究は株式会社サイバーエージェントと奈良先端科学技術大学院大学の共同研究により実施した。

## 参考文献

[1] 株式会社 CARTACOMMUNICATIONS, 株式会社 D2C, 株式会社電通, 株式会社電通デジタル. 2021 年日本の広告費インターネット広告媒体費詳細分析, 2022. https://www. dentsu.co.jp/news/release/2022/0309-010503.html.

[2] Yanwu Yang and Zhai Panyu. Click-Through Rate Prediction in Online Advertising: A Literature Review. Information Processing \& Management, Vol. 59, No. 2, p. 102853, 2022.

[3] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse Search Ad Generation and Real-Time Customization. In EMNLP 2022: Industry Track, 2022.

[4] Haonan Li, Yameng Huang, Yeyun Gong, Jian Jiao, Ruofei Zhang, Timothy Baldwin, and Nan Duan. CULG: Commercial Universal Language Generation. In NAACL-HLT 2022: Industry Track, 2022.

[5] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In NAACL-HLT 2021: Industry Papers, pp. 255-262, 2021

[6] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関する最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[7] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In KDD 2013, p. 563-571, 2013.

[8] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR 2019, 2019.

[9] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. Advances in neural information processing systems, Vol. 32, , 2019.

[10] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In LREC 2022, 2022

[11] Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik Cho, Ji Yoon Han, Jangwon Park, Chisung Song, Junseong Kim, Youngsook Song, Taehwan Oh, Joohong Lee, Juhyun Oh, Sungwon Lyu, Younghoon Jeong, Inkwon Lee, Sangwoo Seo, Dongjun Lee, Hyunwoo Kim, Myeonghwa Lee, Seongbo Jang, Seungwon Do, Sunkyoung Kim, Kyungtae Lim, Jongwon Lee, Kyumin Park, Jamin Shin, Seonghyun Kim, Lucy Park, Alice Oh, Jung-Woo Ha, and Kyunghyun Cho. KLUE: Korean Language Understanding Evaluation. In NeurIPS 2021: Systems Datasets and Benchmarks Track, 2021.

[12] Liang Xu, Hai Hu, Xuanwei Zhang, Lu Li, Chenjie Cao, Yudong Li, Yechen Xu, Kai Sun, Dian Yu, Cong Yu, Yin Tian, Qianqian Dong, Weitang Liu, Bo Shi, Yiming Cui, Junyi Li, Jun Zeng, Rongzhao Wang, Weijian Xie, Yanting Li, Yina Patterson, Zuoyu Tian, Yiwen Zhang, He Zhou, Shaoweihua Liu, Zhe Zhao, Qipeng Zhao, Cong Yue, Xinrui Zhang, Zhengliang Yang, Kyle Richardson, and Zhenzhong Lan. CLUE: A Chinese language understanding evaluation benchmark. In COLING 2020, pp. 4762-4772, 2020.

[13] Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoit
Crabbé, Laurent Besacier, and Didier Schwab. FlauBERT: Unsupervised language model pre-training for French. In LREC 2020, pp. 2479-2490, 2020.

[14] Yaobo Liang, Nan Duan, Yeyun Gong, Ning Wu, Fenfei Guo, Weizhen Qi, Ming Gong, Linjun Shou, Daxin Jiang, Guihong Cao, Xiaodong Fan, Ruofei Zhang, Rahul Agrawal, Edward Cui, Sining Wei, Taroon Bharti, Ying Qiao, Jiun-Hung Chen, Winnie Wu, Shuguang Liu, Fan Yang, Daniel Campos, Rangan Majumder, and Ming Zhou. XGLUE: A new benchmark datasetfor cross-lingual pre-training, understanding and generation. In EMNLP 2020, pp. 6008-6018, 2020.

[15] Jianfeng Chi, Wasi Uddin Ahmad, Yuan Tian, and Kai-Wei Chang. PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English. arXiv preprint arXiv:2212.10011, 2022.

[16] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[17] Alex Warstadt and Samuel R. Bowman. Grammatical analysis of pretrained sentence encoders with acceptability judgments. CoRR, Vol. abs/1901.03438, , 2019.

[18] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In NAACL-HLT 2022: Industry Track, pp. 69-78. ACL 2022, 2022.

[19] David Freedman, Robert Pisani, and Roger Purves. Statistics (international student edition). Pisani, R. Purves, 4th edn. WW Norton \& Company, New York, 2007

[20] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In SemEval2017, pp. 1-14, 2017.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In ACL 2020, pp. 8440-8451, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In LREC 2020, pp. 4003-4012, 2020.

[25] Joseph L. Fleiss. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In ACL 2020: System Demonstrations, pp. $38-45,2020$.

図 2 広告効果予測タスクの品質スコアの分布密度

表 7 広告容認性と広告一貫性のラベル分布

 & 15,099 & 850 & 15,949 & 8,708 & 620 & 9,328 \\

表 8 広告類似性のラベル分布。 $x$ は各値を表す。

表 9 訴求表現認識のラベル付与数

表 10 実験に使用したハイパーパラメータ。複数值があるものは最適値を学習データのみで探索し選択している。

## A 付録

アノテーションガイドラインアノテーションは図 3 のように商材と訴求の 2 軸での一致度合いで判断される。村上ら [18] の訴求タイプの定義に基づいたアノテーションを依頼した。仕様書には各訴求タイプごとに説明文と例文を提示している。商材や訴求表現が一部存在しない広告文は、それ以降の要素が広告文に含まれていれば該当表現が存在したとして扱い、含まれていなければ存在しなかったとして扱う。広告文内の固有名詞などについて不明の場合は適宜 Web 検索を許可した。また、データセットは 3 人の非専門家のアノテータによって作成されており、 2 回の訓練フェーズを経て本番データでアノテートし、アノテー タ間の一致度合いは fleiss' kappa [25] で $\kappa=0.51$ であった。

図 3 アノテーションの方法。左の要素から順に一致しているごとにスコアが 1 段階ずつ上がっていく。

広告効果予測のマスキング処理直接的なクライアント名・ サービス名のマスキングを行うことを条件に広告主からデータセットとして公開することを許可された。例文「[MASK_3] の仕事紹介サイト」ではクライアント名が [MASK_3] に置き換えられている。マスキング処理は 2 人のアノテータが手分けして行った。マスキング対象となったクライアント・サービス名は 24 個であり、それぞれ [MASK_0] から [MASK_23] に置換した。

各データセットのラベル分布表 7 に広告容認性、広告一貫性のラベル分布、表 8 に広告類似性のラベル分布、表 9 に訴求表現認識のラベル付与数、図 2 に広告効果予測の品質スコアの分布密度を示す。

実験設定の詳細各学習済み言語モデルの詳細を表 6、実験に用いたハイパーパラメータを表 10 に示す。表 10 に記載されていないパラメータは各言語モデルまたは Transformers の標準設定を使用している。実験は Hugging Face 社の Transformers [26] を使用し $た^{5)}$ 。

5）実装は Transformers の AutoModelForSequenceClassification に修正を加えている。Transformers のバージョンは 4.25.1。


# 要件に対する効果の生成を経由した法律分野の自然言語推論

チェジョンミン 1,2 本多右京 $1,2,3$ 渡辺太郎 1 乾健太郎 2,4
1 奈良先端科学技術大学院大学 2 理化学研究所
3 株式会社サイバーエージェント 4 東北大学
choi.jungmin.ce6@is.naist.jp, honda_ukyo@cyberagent.co.jp
taro@is.naist.jp, kentaro.inui@tohoku.ac.jp,

## 概要

法律分野における自然言語推論（NLI）は，前提 （法律）と仮説（法的問題に関する記述）の間の含意関係を予測するタスクである。一般的な NLIに対する現在の state-of-the-art である，事前学習済みの言語モデルを用いた手法は，法律分野においてはそれほど有効でない。これは、前提と仮説の抽象度の違い，ならびに法律文の特殊性によるものと考えられる. 本研究では，法律文が，原則として要件と効果によって構成されるという特性に着目し，NLI のタスクをより容易なサブタスクに分解することによってこの問題に対処し，既存手法を上回る性能を得た.

## 1 はじめに

自然言語推論 (NLI) とは，前提文と仮説文のペアが与えられたとき，それらの関係を，前提が仮説を包含する場合は含意, 仮説が前提に反する場合は矛盾，どちらの関係も成立しない場合は中立 (neutral) に分類するものであり, 自然言語処理の中心的な課題の一つであるといえる。法律分野における，このタスクの最も自然な形態は，「法律問題に関するある言明が法律に照らして正しいかどうかを判定する」というものであるが，これは法曹資格を審査する司法試験の一部を構成するものであり，法律家の仕事を自動化するシステムの開発のためには不可欠といえる.法律分野に特有の NLI の難しさは，アノテーションのコストが高いためにデータが不足しがちで，モデルに法的概念の意味や具体例を学習させにくいというところにある.

最近の研究では, Transformerベースの事前学習済み言語モデルによって，前提と仮説のベクトル表現を求め，これを線形変換によって分類するものが主流になっている $[1,2]$.

われわれは，法律分野の文章の特性を利用した，根本的に異なるアプローチを提案する。まず，法律文は要件と効果で構成される，という点に注目する. 法律に関する仮説も，要件に対応する箇所（以下，単に要件部という）と効果に対応する箇所（以下，単に効果部という）で構成される. 人間が法律文を現実の状況に適用する際には，1）事実に適合する要件を法律文から選び，2) その効果を特定し，事実にあてはめて具体的な効果部を導出する，という過程を辿る。そこでわれわれは，モデルの学習においても，このように多段階の手順を踏むことで学習が容易になるという仮説を立てた。すなわち，タスクを，1) 仮説の要件部に対応する法律要件を特定， 2) 法律効果を仮説の設定にあてはめて，仮説が前提に含意されるような効果部を生成，3) 生成された効果部と仮説の効果部を比較，というサブタスクに分割して解く.

また，要件と効果の区別を考慮したデータ拡張も行う.

提案手法が有効であると考えられる根拠は，以下のようにまとめられる．11)生成された効果部と仮説の効果部に焦点を絞ることで比較が容易になる，2)条文の論理構造に基づいた擬似データ作成によって, 複数のルールから, 状況に適合するルールを選ぶという問題にモデルを習熟させることができる， 3) 事前学習済みの言語モデルが保有している世界知識（腕時計は動産にあたる，など抽象的な概念と具体物の関係）を使うことができる。

さらに，生成された結果部は，モデルの予測の説明ととらえることもできる。なぜなら，モデルは仮説の要件部を受けて，法律に照らして適切と考えられる効果部を出力するよう学習しているからである。

本研究では, 日本の司法試験問題を元に作成され

[前提] 占有者がその占有を奪われたときは、占有回収の訴えにより、その物の返還及び損害の賠償を請求することができる。占有回収の訴えは、占有を侵奪した者の特定承継人に対して提起することができない。ただし、その承継人が侵奪の事実を知っていたときは、この限りでない。 [仮説] B が海外出張のため 1 週間大学を留守にしていた間に，C が甲を盗み出して現に所持している場合， Bは，Cに対し，占有回収の訴えにより甲の返還を求めることができる。 [Label] 1 (含意)

図 1 法律 NLI の例. COLIEE[3] タスク 4 より抜粋. 要件は太字+青字，効果は下線+赤字で示している。

た日本語の法律 NLI データセットで実験を行った. その結果, 最先端の手法やベースラインと比較して，大幅な性能の向上を確認した。

## 2 先行研究

法律分野の NLIにおいては，前提は法律、たとえば条文の部分集合であり，仮説はその法律に関連する状況を記述し, その状況の法的帰結について述べるものである．仮説が前提によって含意されているかどうか，すなわち，仮説が法律に照らして正しいかどうかを予測することが具体的なタスクとなる。

一般的な NLI に関して大きな成功を収めた， BERT[4] など事前学習モデルによるベクトル表現を分類するという手法は，そのままでは，法律分野のデータに関してそれほどの性能を示さないことが報告されている [3]. その原因は, 法律文書に使われる抽象的な語彙と，一般的な語彙の乘離により，モデルが事前学習した知識を適用することが難しいこと, 法律分野のデータが不足していることにあると考えられる. 近年の法律分野の NLI 研究においては，ベクトル表現の分類という一般的な枠組みを踏襲しつつ，上述の問題を解決するための補助的な工夫を行った手法が主流になっている. 現時点での state-of-the-art である [1] は，ドメインデータを補うため，条文をそれ自身とぺアとして擬似正例，条文とその否定形をぺアとして擬似負例を作成する。 [2] は，シソーラスを用い，各単語に対応する意味的力テゴリ情報を付与し, 抽象的な概念と具体物の関連をモデルに明示的に与えることで，前提と仮説の抽象度の差を緩和している. これらの手法は，いずれも一定の有効性を示しているものの, 正解率は一般的な NLI データには遠く及ばず，改善の余地が大きいものとみられる.

図 2 提案手法の概要. (1) 前提 (一つまたは複数の条文) に含まれる要件から, 仮説の要件部と合致するものを同定する。(2) その要件に対応する効果を，仮説の設定に合わせて書き換え，出力する。(2) 生成された効果と，仮説の効果部を比較し，含意例か矛盾例に分類する.

図 3 手法の手順. (1) 仮説を, 要件部と効果部に分ける. (2) encoder-decoder モデルを, 前提と仮説の要件部から導かれる順当な効果部を出力するよう訓練する。 (3) encoder モデルと分類器を, 生成された効果と仮説の効果部を入力したとき，含意例であれば 1 を，矛盾例であれば 0 を出力するよう訓練する.

## 3 提案手法

われわれは，効果部の生成と分類という二段階から成る手法を提案する。 提案手法の概要を図 2 に示す.まず，仮説の要件部を受けて，前提から導かれる順当な効果部を生成する。すなわち，もし含意例であれば仮説の効果部となるべき系列を出力する. そして，生成された効果部が，実際の仮説の効果部と一致するか否かを分類する。具体的には，以下のようにモデルを学習させることを目指す.1）前提に含まれる複数の要件から，仮説の要件部に合致するものを見つける，2）前提の中から対応する効果を見つけ、仮説の状況に当てはめて具体的な効果を生成する、3）実際の仮説の効果と比較する. 手法の詳細な手順については、図 3 を参照されたい.

## 3.1 効果部の生成

生成モデル $P(c \mid p, h)$ は, 前提 $p$ と仮説の要件部 $h$ を与えれ，そこから導かれる効果部 $\hat{c}$ を生成する.まず、各仮説を要件部と効果部に分割する. 厳
密な分割のルールを同定することはできないが，検証データでは、ほとんどの場合、最後のカンマの後のどこかで分割されていることがわかる. そこで、最後のカンマ以降の全てのトークンで分割し, それぞれを例として扱う，というヒューリスティックを用いる. 仮説中にカンマが存在しない少数の場合においては, 最後から 8 番目のトークンから分割を開始する。

## 3.2 分類

生成の学習が終わった後, 全ての例に関してモデルに効果部を生成させる. そして, 生成された効果部と仮説の効果部を連結して一つの系列とし, べクトル表現に変換したものを，線形変換による分類器で含意と矛盾に分類する.より形式的にいえば， $\hat{c}$ と $c$ という 2 つの入力が与えられたとき, 分類モデル $P(y \mid c, c)$ によってラベル $y$ を予測する. これが可能であると考えられる根拠は次のようにまとめられる. モデルは, 生成の学習の際, 含意例のみを用いているため, どのような例についても，「含意例として妥当な効果部」を生成するはずである. したがって，実際に含意例であれば生成された効果部と仮説の効果部が類似し, 矛盾例であれば相違していると期待される. 短い系列である効果部同士を比較するだけで分類できるため, 問題をより簡単な形に落とし込めているといえる。

## 3.3 データ拡張

提案手法は，事前学習済み言語モデルの知識を利用することで，データ不足の影響を緩和することを想定しているが, 法律分野で使用される語彙は通常の語彙とは大きく異なるため，ドメインデータをなるべく多く学習しなければならないことに変わりはない. そこで，条文から擬似的な事例を作成する。 [1] は，各条文を個別の規範に分割し、各規範を前提，それ自身を仮説にして含意例を作成し，他方で各規範を前提，その否定を仮説として矛盾を作成する.この擬似データの目的は, モデルに文とその否定の違いを理解させることにあるが，われわれはさらに，モデルに複数の規範から仮説に対応する一つの規範を選んで効果部を生成させるように擬似デー タを設計する. ここでは，2つの要件効果ペアが接続詞によって連結された条文に注目する.1の例で説明する．前提中の条文の一つは，「占有回収の訴えは、 $[. .$.$] 提起することができない。」と，「その承$継人が [...] この限りでない。」という二つの規範から成る.この条文を前提とし，規範の内の一つ，たとえば，「占有回収の訴えは、 $[. .$.$] 提起することがで$ きない。」を仮説として含意例ができる. 他方で，この条文と，規範の効果「占有を侵奪した者の特定承継人に対して提起することができない。」と「占有を侵奪した者の特定承継人に対して提起することができる。(「この限りでない」を書き下した1) $)$ 」を入れ替え，「占有回収の訴えは、占有を侵奪した者の特定承継人に対して提起することができる。」とした偽の規範は矛盾例を成す.もう一方の規範を使っても同様のことがいえる.2)

## 4 実験

COLIEE ワークショップ [3] において提供された法律 NLI データセットを使用する. ${ }^{3)}$ 4) . 図 1 のように，前提は一つまたは複数の民法の条文であり，仮説は前提に照らして真偽が定まる一つの言明である. ラベルは含意または矛盾の二值であり，中立は存在しないことに注意されたい. 元の訓練データとテストデータは，それぞれ 806 例と 81 例から成る.本実験では，元の訓練データを 81 例の検証データと 725 例の訓練データにランダムに分割した. 回答欄の指示などのノイズを除去すると，前提および仮説を連結した平均の文長は約 120 トークンである. 680 例の擬似データは，テキスト生成と分類学習の両方に使用する。

COLIEE にしたがい，正解率を主たる評価指標として採用する.また，分析のために精度，再現率， F1 スコアも併記する。

生成モデルとして，一般的な日本語コーパスで事前学習した T5 モデル゙)を使用する。

以下の手法を試す。まず，これまでの state-of-theart である [1]を再現し，これを“Aoki”と表記する。

1）この書き下しは，[1] の提供する辞書を使用して行った.

2）われわれの手法では，このように，「ただし」を含む条文しかデータ拡張に使用しないため，作成される擬似例の数は 680 となり，[1]の 3,351 例を大きく下回る．しかし，前提中に複数の規範が含まれ，仮説に直接関係するのはそのうちの一つ，という性質は法律 NLI特有であり，このような例を集中的に学習することが特に重要であると考えられることから，本研究ではこれを採用した.

3）データセットは 2021 年度コンペティションのタスク 4 に使用されたものである

4） COLIEE データセットでは，人物は A，B のように記号で表されている，日本語の T5 トークナイザはこの記号を語彙として持っていないため，人物名をよくある日本の姓に置き換えた。

5) https://github.com/sonoisa/t5-japanese
表 1 テストデータにおける手法別のスコア. スコアは 10 回の試行の平均. カッコ内は標準偏差. Aoki は [1] の報告, Aoki† は本論文著者らによる再現

また，[1] と同じアーキテクチャで，擬似データのみ提案手法に置き換えた実験を行い，これを“Aoki w our aug"とする. “T5 baseline 1” は, [5] の手法にしたがい，前提と仮説を単に連結して T5 に入力し，含意であれば「はい」，矛盾であれば「いいえ」 を出力するように訓練するという手法である。“T5 baseline 2" は, 生成の学習をスキップし, 前提と仮説を直接 T5 の encoder に入力することを除けば，提案手法と同じである. “T5 baseline 1,2 ” に関しても， われわれのデータ拡張手法と [1] のデータ拡張手法を試し，それぞれ，“w Aoki’s aug”, “w our aug”を付け加えて示す. 最後に, 提案手法とほぼ同じだが,分類段階のエンコーダーとして, T5 ではなくBERT を用いる手法である “TG w BERT” の実験を行う.

提案手法は “TG (Ours)” と表記し，データ拡張を全く行わないものを “TG w $\backslash$ o aug”, [1] の擬似デー タを使ったものを “TG w Aoki's aug”と表記する。 ハイパーパラメータについての詳細は B に示す.

## 4.1 結果

表 1 は 10 回の試行の平均値と標準偏差を示す.提案手法は, 他の手法と比較して, 最も高い精度と正解率を達成した。“T" と “T5 baseline 2”では提案手法のデータ拡張の方が効果が高く, “Aoki”では [1] のデータ拡張の方が高かった. “T5 baseline 1” ではデータ拡張による有意な差は見られなかった. 提案手法のデータ拡張は, 要件と効果という法律文書の論理構造をモデルが学習するよう設計されてい
るため，要件に対する効果の生成を行う提案手法のアーキテクチャと組み合わさったとき最も効果を発揮するのは期待通りの結果である。他の手法では,前提に含まれる規範のうちどれが仮説に関連しているかを明示的には学習しないため，提案手法のデー 夕拡張が奏功しなかったと考えられる。

いずれのデータ拡張を採用するにせよ，提案手法は “T5 baseline 1” と“2”を上回る性能を見せ，提案手法の成功が $\mathrm{T} 5$ に負うものではないことを示した. “T5 w BERT” は “Aoki” より高い性能を示している.前者が後者と違う点は, 前提・仮説の代わりに生成された効果部と仮説の効果部を BERT に入力することのみであり, このことから, 生成によって効果部の比較に問題を収斂させることが有効であることが確認できる.

## 4.2 分析

表 2 に示した例のように, 提案手法の生成は期待に沿った挙動を見せている. 38 件の含意例のうち，細部まで仮説と意味的に等しい効果部を生成することに成功した例は 27 件であった. 失敗した 11 件においては，1）前提と仮説の間の概念をの関連性を認識するために外部知識を必要とする，例えば，所有物を贈り物として受け取った人は「特別承継人」である等，2) 仮説中に 3 人以上の人物が登場する，という特徴が見られた. 43 件の矛盾例のうち, モデルが仮説の効果部と明らかに相違する効果部を生成することに成功した例は 35 件あった. 失敗した 8 件においては，1) 法律用語としても日常用語としても使われるがその意味が全く異なる語彙が含まれる， 2) 要件部が，逆接または順接の接続詞で終わっており，接続詞に正しく続くような効果部を生成するよう誘導されてしまう, という特徵が見られた。

## 5 おわりに

本研究では，仮説を要件部と効果部に分割し，前提に基づき，要件部に対する効果部を生成することを経由して，含意関係を予測する手法を開発した。 これは予測の性能を向上させるとともに，予測のための説明を提供するものであり，NLIにとどまらず，質問応答タスクへの発展の可能性を示している.

## 謝辞

貴重なデータを提供していただいた COLIEE 運営者の皆様に感謝いたします. 実験に関しては Tohoku NLP グループの皆様に有益な助言をいただきました. 感謝いたします.

## 参考文献

[1] Yasuhiro Aoki, Masaharu Yoshioka, and Youta Suzuki. Data-augmentation method for bert-based legal textual entailment systems in coliee statute law task. The Review of Socionetwork Strategies, Vol. 16, pp. 175-196, 2022.

[2] Mi-Young Kim and Juliano Rabelo. Bm 25 and transformerbased legal information extraction and entailment. In ICAIL/COLIEE, 2021.

[3] Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Masaharu Yoshioka, and Ken Satoh. Summary of the competition on legal information extraction/entailment (coliee) 2021. In ICAIL/COLIEE, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 生成の結果

 & Fの承諾が必要である。 & 矛盾 \\

## B ハイパーパラメータ

TG， TGw $\backslash$ o aug， TG w Aoki’s aug に関しては，最適化手法として Adam[6]，損失関数として cross-entropy loss を用いる. 学習率は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは生成では 16, 分類では 32 である.

T5 baseline 1 に関しては，最適化手法として Adam，損失関数として cross-entropy lossを用いる。学習率は，1e-4. バッチサイズは 64.

T5 baseline 2，T5+BERT に関しては，最適化手法としては Adam，損失関数として cross-entropy loss を用いる. 学習率は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは，生成では 16，分類では 32 である.

[1] の再現では, [1] で報告されている通りのハイパーパラメータを用いた. 最適化手法は Adam, 損失関数は cross-entropy loss, 学習率は 1e-5, バッチサイズは 12 である.

## C アンサンブルによる予測

[1] はアンサンブルでの予測の結果を報告しているため, 本研究でも同様のアンサンブルを行う. 10 回の試行を行い, その全ての組み合わせに関して，ロジットの算術平均を取ることでアンサンブルを作る。検証データで予測の正解率が上位 3 位のアンサンブルを ensemble $1 ， 2 ， 3$ と名づけ，テストデータでの正解率を示す. アンサンブルに関しても TG が最も高い性能を示している.

表 3


# Test-time Augmentation for Factual Probing

Go Kamoda $^{1}$ Benjamin Heinzerling ${ }^{2,1}$ Keisuke Sakaguchi $^{1,2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
go.kamoda@dc.tohoku.ac.jp benjamin.heinzerling@riken.jp
\{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## Abstract

Factual probing is a method for checking if a language model "knows" certain world knowledge facts. A problem in factual probing is that small changes to prompts can result in large output changes. Previous work aimed to alleviate this problem by optimizing prompts via text mining or finetuning. However, such approaches are relationspecific and do not generalize to unseen relations types. Here, we propose to use test-time augmentation (TTA) as a relation-agnostic method for reducing sensitivity to prompt variations by automatically augmenting and ensembling prompts at test time. Experiments show that, while TTA reduces overconfidence in incorrect generations, accuracy increases only in few cases. Error analysis reveals the difficulty of producing high-quality prompt variations as the main challenge for TTA.

## 1 Introduction

Pre-trained language models (LMs) such as BERT [1] and T5 [2] implicitly encode world knowledge from the training corpus in their parameters. Petroni et al. [3] demonstrated that world knowledge can be retrieved from a masked LM via cloze-style prompts, e.g., "The capital city of Alaska is [MASK]."

However, since small changes to the prompt can lead to drastic output changes [4] it is difficult to distinguish whether the model did not learn a fact during pre-training or if it did, but does not output the correct answer with the given prompt. Subsequent work aimed at finding better prompts for factual probing, typically by employing supervised learning to find an optimal input token sequence of tokens for a given relation $[5,6,7]$. Since these approaches require supervision for each relation, they do not generalize to unseen relation types, and hence are not practically appealing.

Figure 1 With (right) and without (left) TTA for factual probing. The orange components are added in our method. The Augmenter automatically augments the original prompt. The aggregator takes the generations from all prompts as input and outputs one generation with the highest score.

In this paper, we apply the idea of test time augmentation (TTA) to the factual probing task. TTA is a method used in the field of computer vision, which augments input images through simple operations (flipping the image, changing the contrast, etc.) at test time. The augmentations are helpful in covering overconfident and incorrect outputs. Krizhevsky et al. [8] used test-time augmentation for ImageNet classification, and subsequent work in the field of computer vision $[9,10,11]$ utilizes test-time augmentation to get better performance in accuracy or robustness. The motivations are common with factual probing tasks; we also want language models to be robust to wordings and be less overconfident. To apply TTA to the task, an augmenter and an aggregator are added to the stream of the model prediction (Figure 1). First, the input prompt is automatically augmented by the augmenter. The augmented prompts are then individually fed to a model. The aggregator will aggregate the model's output to determine the final result. We 1) evaluated the result's exact match accuracy and investigated the impact of the number of augmented prompts on the accuracy and 2) inspected the change in the
confidence of the generations.

Our results showed that the greater the number of augmented prompts, the better the performance when implementing TTA. TTA was also effective at reducing the number of overconfident and incorrect outputs. In terms of accuracy, TTA was only effective in a few cases. We analyzed the cause of this to be the poor quality of augmented prompts declines the accuracy of the model without TTA. ${ }^{1)}$

## 2 Setup

## 2.1 Dataset

We constructed a dataset of 12,500 relational facts from wikidata. Each fact is composed of a subject, a relation, and an object. We filtered out facts with multiple objects to collect unique facts. To reduce the bias of the distribution of objects, we adopted truncated sampling to select 500 instances per predicate. We provided a human-made prompt template for each relation (e.g., "What is the capital city of \{subject $\}$ ?”).

## 2.2 Augmenter

We used three types of prompt augmentations. The first type is synonym replacement, which replaces words in the input prompt with a synonym. For instance, the word "buried" was replaced with "inhumed" by this type of augmentation ${ }^{2)}$. Candidate synonyms are provided from GloVe [12] embedding or WordNet [13]. The second augmentation method we used is back-translation. We used French, Russian, German, Spanish, and Japanese as the target language. The third augmentation method is stopwords-filtering.

From a single original input, 1 prompt is augmented by stopwords-filtering, and 4 prompts are augmented by each of the other methods, providing a maximum total of 29 augmented prompts.

## 2.3 Model

We ran experiments on the following pre-trained language models: Google's T5 for Closed Book Question Answering (small, large, 3b, 11b)[14], Google's FLAN models (small, xl)[15], and T0_3B model from Big Science[16].

Models decode with beam-search where the beam size

1) https://github.com/cl-tohoku/TTA4FactualProbing

2) Prompt \#7 in table 5 in appendix

Figure 2 The relation between the number of prompts and the average relative effect of TTA. A relative effect of 1.0 means no change in accuracy between with and without TTA.

is fixed to 10 and return generated sequences with scores. Scores are in the order of log-likelihood (negative), and the exponentiated scores are in the order of probability.

## 2.4 Aggregator

We aggregate generations by taking the sum of generation probability.

$
\begin{gathered}
s\left(y^{\prime} \mid x, r\right)=\sum_{i=1}^{K} P_{\mathrm{LM}}\left(y^{\prime} \mid p_{i}\right) \\
y=\operatorname{argmax}(s(\cdot \mid x, r))_{y^{\prime}}
\end{gathered}
$

The model output with generation probabilities $\left(P_{\mathrm{LM}}\right)$ for all augmented prompts $\left(p_{i}\right)$ will be fed into the aggregator to choose one final prediction. The aggregator recalculates the generation score $(s)$ by taking the sum of the generation probabilities of identical generations (Eq.1). The final prediction of an object ( $y$ ) for the fact with subject $x$ and relation $r$ is the one with the highest score (Eq.2).

## 2.5 Evaluation Metric

We measure the effect of TTA by the relative difference of exact match accuracy. To prevent division by zero, a constant of 1 is added to both the numerator and the denominator (Eq.3). The metric judges correct only if the final generation outputted is identical to the gold label provided in the dataset. Evaluation on flan models is an exception, and we adopt case-insensitive match accuracy.

$
\text { relative effect }=\frac{(\# \text { corrects w } / \text { TTA })+1}{(\# \text { corrects w/o TTA })+1}
$

## 3 Results

By augmenting prompts, we got 9 types of prompts (1 original, 1 stopwords-filtering, 2 synonym replacement, 5

Table 1

} \\
& & Incorrect \\

\cline { 2 - 4 } TTA & Incorrect & 2.5 & 89 \\

Table 2 Confusion matrix of accuracy. (model: t5-11b)

back-translation). We evaluated all $511\left(=2^{9}-1\right)$ combinations of the 9 augmentation types for each model. Figure 2 shows relationships between the number of prompts and the average relative effect of TTA. As the number of prompts increases, the accuracy converges to a particular value, suggesting that the more augmentation we provide, the greater the accuracy gets. On the 15 -small model, TTA raised the model accuracy as expected. There was a small improvement on the T0_3b and t5-3b models. In other models, TTA could not increase the accuracy even when the original prompt is augmented into 30 prompts.

Table 1 and Table 2 shows the confusion matrix of the t5small model, which had the greatest increase in accuracy when applied TTA, and the t5-11b model which has the largest number of parameters out of all models we investigated. The tables compare the number of corrects/incorrect with and without TTA. Data for "with TTA" is the accuracy after aggregating all 30 prompts.

## 3.1 Positive Effects

Table 3 shows one example of TTA increasing the accuracy on the t5-11b model. The model generated an incorrect label from the original prompt but was able to cover it up by generating the gold label from some of the augmented prompts. This is an ideal behavior when applying TTA to the factual probing task.

Confidence One of the aims to apply TTA was to reduce the number of overconfident and incorrect generations. In this section, we investigate the effect of TTA on the confidence of the model.

In our method, the aggregator re-ranks generations by calculating the sum of generation probability for all identical generations for each fact instance. The confidence of

Figure 3 Precision-recall curve when changed confidence threshold (model: t5-11b). Low recall means a high confidence threshold.

the aggregator can be expressed by the ratio of the score to the final output and the sum of the calculated scores (Eq.4).

$
\text { confidence }=\frac{\text { score }_{\text {final output }}}{\sum_{\text {candidates }} \text { score }}
$

After we calculated the confidence, we put the rankings of the confidence into bins of size 50 without considering whether the generation was correct or incorrect. We express $\operatorname{bin}_{i}(1<i<250, i \in \mathbb{N})$ as the bin with the $i^{t h}$ highest confidence, \#corrects $i$ as the number of correct generation in $\operatorname{bin}_{i}$, and \#incorrects ${ }_{i}$ as the number of incorrect generation in $\operatorname{bin}_{i}$. When we treat $i$ as a confidence threshold, precision and recall can be defined by Eq. 5 and Eq.6.

$
\begin{array}{r}
\text { Precision }_{i}=\frac{\sum_{j=1}^{i} \#^{i} \text { corrects }_{j}}{\sum_{j=1}^{i} \text { \#corrects }_{j}+\sum_{j=1}^{i} \text { \#incorrects }_{j}} \\
\operatorname{Recall}_{i}=\frac{\sum_{j=1}^{i} \# \text { corrects }_{j}}{\sum_{j=1}^{250} \# \text { incorrects }_{j}}
\end{array}
$

Figure 3 shows the calculated precision-recall curve for $i$ in the range $1-250$. Without TTA, the model precision was relatively low when the confidence threshold was high (= when the recall was small). This means that the model is outputting incorrect generations with high confidence. After applying TTA, the precision of the left side of the figure improved, indicating that TTA effectively reduced overconfident incorrect generations. In addition, the precision rose monotonically as the confidence threshold increased. This suggests that confidence can work as a convenient parameter to control model precision.

## 3.2 Negative Effects

When the original prompt elicited the gold label but the aggregation result outputs the incorrect label, the ac-

Table 3 Example of TTA improving performance. The gold label for this fact instance is "South America", and the aggregator returned " South America".

Table 4 Example of TTA degrading performance. The gold label for this fact instance is " Heidelberg ", but the aggregator returned

"Erlanden, Germany". The results of other prompts are in the appendix.

curacy declines. Table 4 shows an example of instances that caused the accuracy to decline. Only 9 out of 30 prompts are on the table, and others are in the appendix. The 30 prompts generated 18 unique generations as the generation with the highest score. 7 prompts generated "Erlanden, Germany", and 4 prompts generated "Heidelberg", the gold label.

When we look at the prompts in table 4 , not all augmented prompts keep the semantics of the original prompt. For example, prompt \#1 in the table replaced the word "Where" with "Accordingly", which is not a natural synonym. Prompt \#7 uses the word "inhume", which is a synonym of "bury", but the use is grammatically incorrect. Prompt \#15 is asking about a person whose name is "Hans-George Gadmer" and not "Hans-Georg Gadamer". The augmented prompt by back-translation with Japanese as the target language is hardly a paraphrase of the original prompt. Although the purpose of implementing TTA is to cover up incorrect generations by some prompts, expecting the behavior using numerous augmented prompts with low quality is a harsh setting. The augmented prompts are expected to maintain the semantic components of the original prompts while varying the syntactic structure or vocabulary. It is a crucial issue to produce paraphrases with high quality.

## 4 Conclusion

We applied the idea of test-time augmentation to the factual probing task on pre-trained language models to increase the model's accuracy and robustness. We used synonym replacement, back-translation, and stopwordsfiltering to create augmented prompts automatically. Out of the 7 models we investigated, TTA had a significant effect only on the t5-small model. On other models, TTA had a negative effect in terms of accuracy. The unsound effect of TTA is anticipated to result from the poor quality of automatically augmented prompts. We want to examine deeper into the quality of augmented prompts. Searching for a better method to produce high-quality paraphrases would also be indispensable.

In terms of confidence of the model, our results showed that TTA effectively reduced the number of incorrect outputs. In addition, results indicated that TTA enables confidence to be the parameter that could conveniently control the model precision.

## Acknowledgements

This work was supported by JST CREST Grant Number JPMJCR20D2, Japan, and JSPS KAKENHI Grant Numbers $21 \mathrm{~K} 17814,21 \mathrm{~K} 21343$, and $22 \mathrm{H} 00524$. We would like to thank the members of the Tohoku NLP for their frequent participation in discussions during the course of this research.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[5] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[6] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How Can We Know What Language Models Know? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 423-438, 072020.

[7] Zexuan Zhong, Dan Friedman, and Danqi Chen. Factual probing is [mask]: Learning vs. learning to recall. In North American Association for Computational Linguistics (NAACL), 2021.

[8] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. Imagenet classification with deep convolutional neural networks. In Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1, NIPS'12, pp. "1097-1105”, Red Hook, NY,
USA, 2012. Curran Associates Inc.

[9] Guotai Wang, Wenqi Li, Michael Aertsen, Jan Deprest, Sebastien Ourselin, and Tom Vercauteren. Test-time augmentation with uncertainty estimation for deep learningbased medical image segmentation, 2018.

[10] Fábio Perez, Cristina Vasconcelos, Sandra Avila, and Eduardo Valle. Data augmentation for skin lesion analysis. 082018.

[11] Kazuhisa Matsunaga, Akira Hamada, Akane Minagawa, and Hiroshi Koga. Image classification of melanoma, nevus and seborrheic keratosis by deep neural network ensemble. 032017.

[12] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[13] Chakaveh Saedi, António Branco, João António Rodrigues, and João Silva. WordNet embeddings. In Proceedings of the Third Workshop on Representation Learning for NLP, pp. 122-131, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[15] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[16] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. Multitask prompted training enables zero-shot task generalization. In International Conference on Learning Representations, 2022.

Table 5 Example of TTA declining the accuracy. The gold label for this fact instance is " Heidelberg ", but the aggregator returned

"Erlangen, Germany ". The results of other prompts are in the appendix.

## Appendix

## Augmentation Methods

Synonym Replacement We use a python library "TextAttack". For synonym replacement using wordnet, we use WordNetAugmenter provided in the library. For synonym replacement using GloVe embedding, we use the transformation method WordSwapEmbedding to create an augmenter.

Back-translation We first translate the original prompt to 8 candidates in the target language. Each candidate is then translated back into 8 candidates in the source language, getting 64 back-translated prompt candidates in total. We adopt the round-trip probability as the score of the backtranslated prompt candidates and select 4 candidates using the aggregation method mentioned in section 2.4. For translations, we used Marian MT models ${ }^{3}$ ). The Marian MT models occupy roughly the same memory size as the t5-small model.
Stopwords-filtering This method drops stopwords and diacritics from the original prompt. We use a python library "Texthero" for the processing.

## Aggregator

Counting the number of appearances in the generations is one method of aggregation. We did not use count-based aggregation because the possibility of having multiple generations with the same counts is high. The phenomenon is predicted to occur more when we make the model output more sequences for each prompt. In addition, this method cannot take confidence into account as all generations by beam-search are equally weighted.

## Result

Table 5 shows the result of augmented prompts that we did not display on table 4.

3) https://github.com/Helsinki-NLP/Opus-MT


# 共想法による話し言葉・書き言葉における修辞機能の特徵 ーテーマとの関係に着目して一

田中 弥生 ${ }^{1}$ 小磯 花絵 1 大武 美保子 ${ }^{2}$
1 国立国語研究所 2 理化学研究所
\{yayoi,koiso\}@ninjal.ac.jp mihoko.otake@ riken.jp

## 概要

高齢者の認知的健康につながる会話支援手法である「共想法」による談話を対象とした分析から，談話のテーマによって用いられやすい修辞機能の種類に差が見られたことを受け，本研究では，同テーマの小作文においても同種の偏りが見られるかを検討した. 分析の結果，テーマに深く関わる修辞機能については談話と小作文に共通した偏りが見られたのに対し，語る／書く状況の違いに起因すると見られる修辞機能の使用の違いも観察された。このことは結果として共想法にもとづく言語使用により多様な修辞機能の使用につながる可能性を示唆する.

## 1 はじめに

本発表は，「共想法」における話し言葉と書き言葉での修辞機能の使用の様相をテーマごとに確認し，これまで話し言葉を対象として行ってきた検討を書き言葉にも広げて異同を確認するものである。共想法は，高齢者の認知的健康につながる会話を確実に発生させることができるよう工夫を加えた会話支援手法 [1],[2] で， 1 対 1 や少人数のグループで行う. 設定されたテーマに沿って，準備した写真などを持ち寄り，参加者全員のもち時間を均等に決めて，話題提供する時間 (独話)（以下「話題提供」） と，質疑応答する時間 (会話)（以下「質疑応答」）に分けるという 2 つのルールに沿って行われる. このように「話す」だけでなく「聞く」「質問する」「答える」をバランスよく行うという環境において，言語機能を多角的に活用する効果があると考えられている。また，複数のテーマで共想法を重ねる中で，特定の修辞機能に偏らないバランスのとれた発話がなされることも重要であると考えられる。

修辞機能の確認には，修辞機能分析の分類法 [3] を用いる。修辞という語は技巧的な意味合いで用い
られるが，本研究では修辞機能を「話し手書き手が発信する際に，言及する対象である事態や事物，人物等を捉え表現する様態を分類し概念化したもの」 と定義する。修辞機能分析では，修辞機能とともに，脱文脈度が特定される．文脈や脱文脈という用語は研究分野によって使われる意味が異なるが，本研究では脱文脈度を，「発話がコミュニケーションの場「いま・ここ・わたし」にどの程度依存しているか」の程度を表す概念とする。

これまで，共想法の中核ともいえる「話題提供」 と「質疑応答」の談話を修辞機能と脱文脈化の観点から分析してきた [4][5][6]. このうち田中ほか [6] では，「話題提供」と「質疑応答」の分析から，テー マによって修辞機能の使用に特徴があり，設定するテーマを調整することで特定の修辞機能に偏らず多様な修辞機能の使用につながる可能性のあることが分かった。しかし共想法では，帰宅後にそのテーマについて 200 字程度の要旨（以下「小作文」）にまとめるという課題を実施する場合がある。

そこで本発表では，同じテーマの書き言葉である 「小作文」でも話し言葉と同様の修辞機能が用いられるか否かを確認する。共想法は，単なる雑談とは異なる点で認知的健康につながる活動とされている. 多様な修辞機能の使用が認知的健康によりつながるとすれば，グループで実施する「話題提供」等の談話後に書く「小作文」の修辞機能の使用が「話題提供」などと同じか否かを確認することは，共想法における小作文活動の役割を確認するとともに， テーマ設定の検討への知見となると考えられる。

## 2 分析対象と分析方法

## 2.1 分析対象

本発表では，共想法の 1 グループ 4 名のメンバー による「好きなもの」「近所の名所」「新しく始める

こと」の 3 テーマについての「小作文」と独話の 「話題提供」を分析の対象とする。

## 2.2 分析方法

修辞機能分析の分類法によって，1. 分析単位となるメッセージ (概ね節) に分割してその種類から分析対象を特定し, 2. 発話機能, 時間要素, 空間要素を認定し，その組み合わせから，3. 修辞機能の特定と脱文脈度の確認を行う。

## 2.3 分析対象の特定

分析単位の「メッセージ」は，概放に相当し，「主節」(単文と主節)，「並列」(主節以外で節の順番を変更することが可能な並列節，従属度の低い従属節),「従属」(従属度の高い従属節),「定型句類」(相桘や定型句，述部がなく復元ができないものや挨拶など) に分類する．基本的に「主節」と「並列」をこの後の分類対象とする.

## 2.4 発話機能・時間要素・空間要素の認定

「主節」及び「並列」と認定されたメッセージについて, 発話機能 (提言・命題) ・時間要素 (述部の時制: 現在 - 過去 - 未来意志的 -未来非意志的 - 仮定 .習慣恒久) ・空間要素 (述部に対する主体や主題: 参加 - 状況内 - 状況外・定義)を認定する. 表 1 に示したように, これらの組み合わせから, 修辞機能と脱文脈化指数が特定される．時間要素は「いま」からの時間的距離を，空間要素は「ここ・わたし」からの空間的距離を示す.いまここわたしに近い修辞機能【行動】の脱文脈化指数が [01] で最も低く, 空間的にも時間的にも遠い【一般化】 [14] が最も高い.

表 1 発話機能・時間要素・空間要素からの修辞機能と脱文脈化指数の特定

 \\

2 名の作業者によってアノテーションを行い，判断が分かれたものは筆者の 1 人が決定した.

## 2.5 予想される特徴

「話題提供」は話し言葉で「小作文」は書き言葉であるが，聞き手，読み手を想定したものである点は共通しており，基本的にはテーマに特徴的な修辞機能が共通して用いられることが予想される。その一方で，話し言葉と書き言葉というモードの違いにより，「話題提供」と「小作文」とでは異なる修辞機能の使用が見られる可能性も考えられる.

## 3 分析結果

表 2 に，「話題提供」と「小作文」のテーマごとの修辞機能の出現頻度を示す.

表 2 各テーマの修辞機能と脱文脈化指数の出現頻度

テーマと修辞機能との関係を調べるために，対応分析を行った ${ }^{1)}$. 分析には R の corresp 関数を用いた.「話題提供」の結果を図 1 に「小作文」の結果を図 2 に示す。

図 1 から「話題提供」の特徴として以下のことがわかる.

・3つのテーマの間に【説明】[13]が位置しており，いずれのテーマも共起している.

・テーマ「好きなもの」では【自己記述】[07]および【観測】 [08] と共起している.

・テーマ「近所の名所」では【状況外回想】[10] と共起している.

・テーマ「新しく始めること」では【状況内回想】[03] と【計画】[04] と共起している.

図 2 から「小作文」の特徴として以下のことがわ

1）出現頻度がほとんど出現しない修辞機能は除外した（「話題提供」では 10 以下，「小作文」では 5 以下).

図 1 「話題提供」の修辞機能の対応分析結果 (図ではテーマを略して＜名所＞のように表示) かる.

・テーマ「好きなもの」では【状況内回想】[03] と【自己記述】[07] と共起している.

・テーマ「近所の名所」では【説明】 [13] と【状況外回想】[10] が共起している.

・テーマ「新しく始めること」では【観測】[08] と共起し，【計画】[04]とも関わりが見られる.

## 4 考察

本節では，テーマによる修辞機能の使用の特徴と, 話し言葉書き言葉というモードによる違いの有無を検討する． 3 節でわかった各テーマの話し言葉・書き言葉に特徴的な修辞機能を表 3 にまとめた.

表 3 から，どのテーマにおいても，話し言葉である「話題提供」と書き言葉である「小作文」に共通する修辞機能が見られることが分かる. このことは，テーマに特徴的な修辞機能がモードによらず見られることを意味している。その一方で，話し言葉のみ，あるいは書き言葉のみに見られる機能も存在していることが分かる. このことは, 共想法の中核

図 2 「小作文」の修辞機能の対応分析結果 (図ではテーマを略して＜名所＞のように表示)

ともいえる「話題提供」等の話し言葉とは異なる修辞機能が「小作文」で用いられ，結果として多様な修辞機能の使用につながる可能性を示唆する.

以下では，「話題提供」と「小作文」における修辞機能使用の異同について見ていく.

## 4.1 モード共通の修辞機能

いずれのテーマでも，モードに関わらず共通してみられた修辞機能は，そのテーマとの親和性の高いものであった. 例えばテーマ「好きなもの」では，自分の好きなものを伝えるために自然に使われるであろう【自己記述】[07]がモードに共通してみられた。

1)（話題提供）あの，常に持ち歩いてる感じですね.

〔発話機能：命題 \& 時間要素：習慣恒久(常に持ち歩いてる感じですね) \&空間要素 : 参加 ( $\phi=$ 私は) ] $\rightarrow$ 【自己記述】[07]

2)（小作文）どこに行くにも自家用車を利用している.

〔発話機能: 命題 \& 時間要素: 習慣恒久 (利用している) \&空間要素 : 参加 $(\phi=$ 私は $)] \rightarrow$ 【自己記述】[07]

「近所の名所」では，【状況外回想】 [10]と【説明】 [13] が共通してみられた. 名所という個人的ではないものを表現し，説明する修辞機能である。

3) (話題提供) 近所の方が皆さん, 清正公さんっ

ていってまして，

〔発話機能：命題 \& 時間要素 : 習慣恒久(いってまし

て) \& 空間要素 : 状況外 (近所の方が)】 $\rightarrow$ 【説明】

[13]

4) (小作文）文京区役所のそばに小石川源覚寺と言うお寺があります.

〔発話機能: 命題 \& 時間要素: 習慣恒久(あります) \&空間要素 : 状況外 (お寺が)】 $\rightarrow$ 【説明】[13]

5)（話題提供）お化け屋敷みたいのがありましたけど，

〔発話機能：命題 \& 時間要素 : 過去 (ありました) \&空間要素: 状況外 (お化け屋敷みたいのが)】 $\rightarrow$ 【状況外回想】[10]

6) (小作文) 3 歳ごろまで水戸藩邸で暮らしていた

〔発話機能: 命題 \& 時間要素: 過去 (暮らしていた) \&空間要素: 状況外 $(\phi=$ 徳川慶善公は) $] \rightarrow$【状況外回想】[10]

「新しく始めること」では，決意や予定を表現する修辞機能として【計画】[04] がモードに関わらず共通してみられた。

7) (話題提供) 行けるとこは行ってみたいなと思って，思ってます。

〔発話機能: 命題 \& 時間要素: 未来意志的 (行ってみたいな) \&空間要素 : 参加 $(\phi=$ 私は) $\rightarrow$ 【計画】 [04]

8) (小作文) 最近始めたボーリングを体力の続く限り続けようと思いました.

〔発話機能 : 命題 $\&$ 時間要素 : 未来意志的 (続けよう) \&空間要素 : 参加 $(\phi=$ 私は) $\rightarrow$ 【計画】[04] このように，モードに関わらずテーマによって使用される修辞機能に偏りがあることがわかった．共想法によりできるだけ多様な修辞機能の使用を促すためには，修辞機能との親和性を想定してテーマを選ぶことも重要であろう.

## 4.2 「小作文」に特徵的な修辞機能

「小作文」に特徴的であったのは，テーマ「好きなもの」における【状況内回想】 [03] と「新しく始めること」における【観測】[08] である.「新しく始めること」の【観測】 [08] は出現頻度は高くないため，「好きなもの」の【状況内回想】[03]について確認していく．以下がその例である。

9) (小作文) 同級生の従兄弟と一緒に作ったのがオーディオの始まりだった.〔発話機能：命題 \& 時間要素：過去（始まりだった) \&空間要素 : 状況内 (作ったのが) 〕 $\rightarrow$ 【状況内回想】[03]

10) (小作文）父親の形見として約 20 年間金時計を使っていましたが，

〔発話機能 : 命題 \& 時間要素 : 過去 (使っていました) \& 空間要素 : 参加 $(\phi=$ 私は) 〕 $\rightarrow$ 【状況内回想】[03]

自分の好きなものについて述べる際に，そのものとの出会いや，過去の思い出などを語るようである.ここで例にあげた「小作文」の筆者の「話題提供」での修辞機能を確認すると，次のように【観測】[08]を使用していることが分かる.

11) (話題提供)この写真はですね，今，毎日使ってる，えー，ラジオなんですけども，。

〔発話機能：命題 \& 時間要素：習慣恒久(ラジオなんですけども) \&空間要素 : 状況内 (この写真は) ]

$\rightarrow$ 【観測】[08]

12）（話題提供）まずこちらが腕，腕時計なんですけど，

〔発話機能：命題 \& 時間要素 : 習慣恒久(腕時計なんです) \&空間要素 : 状況内 (こちらが) 〕 $\rightarrow$ 【観測】 [08]

この事例から，「好きなもの」というテーマにおいては，「話題提供」では目の前で示している写真にうつっているものについて語ることが特徴的で，「小作文」はその目の前の写真という文脈から離れた時空を語ることが特徴的であると言えるだろう。.このことは，「話題提供」が話し言葉で，「小作文」が書き言葉であるというモードの違いに関わることではあるが，グループで写真を見ながら行われる「話題提供」という場の性質と，活動後に帰宅して一人で書くという場の性質によるものとも考えられる。

## 5 おわりに

共想法における「話題提供」と「小作文」では， モードによらずテーマに共通して使用される修辞機能がある一方，異なるものもあることがわかった. このことは，共想法において話し言葉のみならず書き言葉の活動も行う事によって多様な修辞機能の使用につながる可能性を示唆している. 本発表では 1 グループ 4 名の 3 テーマによる分析であった. 今後他のグループや他のテーマでの分析を行い，修辞機能の観点からの検討を加えていく予定である.

## 謝辞

本研究は JSPS 科研費 JP19K00588, JP18KT0035, JP20H05022, JP20H05574，JP22H00544，JP22H04872 JST 研究費 JPMJCR20G1, JPMJPF2101, JPMJMS2237 の助成を受けたものです. 共想法に参加頂いた方に感謝申し上げます。また，国立国語研究所のプロジェクト「多世代会話コーパスに基づく話し言葉の総合的研究」によるものです.

## 参考文献

[1] M. Otake-Matsuura, S. Tokunaga, K. Watanabe, M. S. Abe, T. Sekiguchi, H Sugimoto, T Kishimoto, and T Kudo. Cognitive Intervention Through Photo-Integrated Conversation Moderated by Robots (PICMOR) Program: A Randomized Controlled Trial. Frontiers in Robotics and AI, Vol. 8, , 2021. Publisher: Frontiers.

[2] 大武美保子. 介護に役立つ共想法: 認知症の予防と回復のための新しいコミュニケーション. 中央法規出版, 2012.

[3] 田中弥生. 修辞機能と脱文脈化の観点からの日本語談話分析. 博士論文, 東京大学大学院総合文化研究科, 2022.

[4] 田中弥生 - 小磯花絵 - 大武美保子. 共想法談話の脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 569-573, 2021.

[5] 田中弥生・小磯花絵 ・ 大武美保子. 脱文脈化の観点から見た共想法に基づく高齢者談話の分析. 国立国語研究所論集, Vol. 22, pp. 137-155, 2022.

[6] 田中弥生・小磯花絵・大武美保子. 共想法談話のテー マと修辞機能の関連についての分析. 言語処理学会第 28 回年次大会発表論文集, pp. 1439-1443, 2022.