# 要件に対する効果の生成を経由した法律分野の自然言語推論

チェジョンミン 1,2 本多右京 $1,2,3$ 渡辺太郎 1 乾健太郎 2,4
1 奈良先端科学技術大学院大学 2 理化学研究所
3 株式会社サイバーエージェント 4 東北大学
choi.jungmin.ce6@is.naist.jp, honda_ukyo@cyberagent.co.jp
taro@is.naist.jp, kentaro.inui@tohoku.ac.jp,

## 概要

法律分野における自然言語推論（NLI）は，前提 （法律）と仮説（法的問題に関する記述）の間の含意関係を予測するタスクである。一般的な NLIに対 する現在の state-of-the-art である，事前学習済みの 言語モデルを用いた手法は，法律分野においてはそ れほど有効でない。これは、前提と仮説の抽象度の 違い，ならびに法律文の特殊性によるものと考えら れる. 本研究では，法律文が，原則として要件と効果によって構成されるという特性に着目し，NLI の タスクをより容易なサブタスクに分解することに よってこの問題に対処し，既存手法を上回る性能を 得た.

## 1 はじめに

自然言語推論 (NLI) とは，前提文と仮説文のペア が与えられたとき，それらの関係を，前提が仮説を 包含する場合は含意, 仮説が前提に反する場合は矛盾，どちらの関係も成立しない場合は中立 (neutral) に分類するものであり, 自然言語処理の中心的な課題の一つであるといえる。法律分野における，この タスクの最も自然な形態は，「法律問題に関するあ る言明が法律に照らして正しいかどうかを判定す る」というものであるが，これは法曹資格を審査す る司法試験の一部を構成するものであり，法律家の 仕事を自動化するシステムの開発のためには不可欠 といえる.法律分野に特有の NLI の難しさは，アノテーショ ンのコストが高いためにデータが不足しがちで，モ デルに法的概念の意味や具体例を学習させにくいと いうところにある.

最近の研究では, Transformerベースの事前学習済 み言語モデルによって，前提と仮説のベクトル表現 を求め，これを線形変換によって分類するものが主流になっている $[1,2]$.

われわれは，法律分野の文章の特性を利用した，根本的に異なるアプローチを提案する。まず，法律文は要件と効果で構成される，という点に注目す る. 法律に関する仮説も，要件に対応する箇所（以下，単に要件部という）と効果に対応する箇所（以下，単に効果部という）で構成される. 人間が法律文を現実の状況に適用する際には，1）事実に適合す る要件を法律文から選び，2) その効果を特定し，事実にあてはめて具体的な効果部を導出する，という 過程を辿る。そこでわれわれは，モデルの学習にお いても，このように多段階の手順を踏むことで学習 が容易になるという仮説を立てた。すなわち，タス クを，1) 仮説の要件部に対応する法律要件を特定， 2) 法律効果を仮説の設定にあてはめて，仮説が前提 に含意されるような効果部を生成，3) 生成された効果部と仮説の効果部を比較，というサブタスクに分割して解く.

また，要件と効果の区別を考慮したデータ拡張も 行う.

提案手法が有効であると考えられる根拠は，以下 のようにまとめられる．11)生成された効果部と仮説 の効果部に焦点を絞ることで比較が容易になる，2)条文の論理構造に基づいた擬似データ作成によっ て, 複数のルールから, 状況に適合するルールを選 ぶという問題にモデルを習熟させることができる， 3) 事前学習済みの言語モデルが保有している世界知識（腕時計は動産にあたる，など抽象的な概念と具体物の関係）を使うことができる。

さらに，生成された結果部は，モデルの予測の説明ととらえることもできる。なぜなら，モデルは仮説の要件部を受けて，法律に照らして適切と考え られる効果部を出力するよう学習しているからで ある。

本研究では, 日本の司法試験問題を元に作成され

[前提] 占有者がその占有を奪われたときは、占有回収の訴 えにより、その物の返還及び損害の賠償を請求することが できる。占有回収の訴えは、占有を侵奪した者の特定承継人に対して提起することができない。ただし、その承継人 が侵奪の事実を知っていたときは、この限りでない。 [仮説] B が海外出張のため 1 週間大学を留守にし ていた間に，C が甲を盗み出して現に所持している 場合， Bは，Cに対し，占有回収の訴えにより甲の返還を 求めることができる。 [Label] 1 (含意)

図 1 法律 NLI の例. COLIEE[3] タスク 4 より抜粋. 要件 は太字+青字，効果は下線+赤字で示している。

た日本語の法律 NLI データセットで実験を行った. その結果, 最先端の手法やベースラインと比較し て，大幅な性能の向上を確認した。

## 2 先行研究

法律分野の NLIにおいては，前提は法律、たとえ ば条文の部分集合であり，仮説はその法律に関連す る状況を記述し, その状況の法的帰結について述べ るものである．仮説が前提によって含意されている かどうか，すなわち，仮説が法律に照らして正しい かどうかを予測することが具体的なタスクとなる。

一般的な NLI に関して大きな成功を収めた， BERT[4] など事前学習モデルによるベクトル表現を 分類するという手法は，そのままでは，法律分野の データに関してそれほどの性能を示さないことが報告されている [3]. その原因は, 法律文書に使われ る抽象的な語彙と，一般的な語彙の乘離により，モ デルが事前学習した知識を適用することが難しい こと, 法律分野のデータが不足していることにある と考えられる. 近年の法律分野の NLI 研究におい ては，ベクトル表現の分類という一般的な枠組みを 踏襲しつつ，上述の問題を解決するための補助的な 工夫を行った手法が主流になっている. 現時点での state-of-the-art である [1] は，ドメインデータを補う ため，条文をそれ自身とぺアとして擬似正例，条文 とその否定形をぺアとして擬似負例を作成する。 [2] は，シソーラスを用い，各単語に対応する意味的力 テゴリ情報を付与し, 抽象的な概念と具体物の関連 をモデルに明示的に与えることで，前提と仮説の抽象度の差を緩和している. これらの手法は，いずれ も一定の有効性を示しているものの, 正解率は一般的な NLI データには遠く及ばず，改善の余地が大き いものとみられる.

図 2 提案手法の概要. (1) 前提 (一つまたは複数の条文) に含まれる要件から, 仮説の要件部と合致するものを同定する。(2) その要件に対応する効果を，仮説の設定に 合わせて書き換え，出力する。(2) 生成された効果と，仮説の効果部を比較し，含意例か矛盾例に分類する.

図 3 手法の手順. (1) 仮説を, 要件部と効果部に分ける. (2) encoder-decoder モデルを, 前提と仮説の要件部から導 かれる順当な効果部を出力するよう訓練する。 (3) encoder モデルと分類器を, 生成された効果と仮説の効果部を入力したとき，含意例であれば 1 を，矛盾例であれば 0 を 出力するよう訓練する.

## 3 提案手法

われわれは，効果部の生成と分類という二段階か ら成る手法を提案する。 提案手法の概要を図 2 に示 す.まず，仮説の要件部を受けて，前提から導かれ る順当な効果部を生成する。すなわち，もし含意例 であれば仮説の効果部となるべき系列を出力する. そして，生成された効果部が，実際の仮説の効果部 と一致するか否かを分類する。具体的には，以下の ようにモデルを学習させることを目指す.1）前提 に含まれる複数の要件から，仮説の要件部に合致す るものを見つける，2）前提の中から対応する効果 を見つけ、仮説の状況に当てはめて具体的な効果を 生成する、3）実際の仮説の効果と比較する. 手法 の詳細な手順については、図 3 を参照されたい.

## 3.1 効果部の生成

生成モデル $P(c \mid p, h)$ は, 前提 $p$ と仮説の要件部 $h$ を与えれ，そこから導かれる効果部 $\hat{c}$ を生成す る.まず、各仮説を要件部と効果部に分割する. 厳
密な分割のルールを同定することはできないが，検証データでは、ほとんどの場合、最後のカンマの後 のどこかで分割されていることがわかる. そこで、最後のカンマ以降の全てのトークンで分割し, それ ぞれを例として扱う，というヒューリスティックを 用いる. 仮説中にカンマが存在しない少数の場合に おいては, 最後から 8 番目のトークンから分割を開始する。

## 3.2 分類

生成の学習が終わった後, 全ての例に関してモデ ルに効果部を生成させる. そして, 生成された効果部と仮説の効果部を連結して一つの系列とし, べク トル表現に変換したものを，線形変換による分類器 で含意と矛盾に分類する.より形式的にいえば， $\hat{c}$ と $c$ という 2 つの入力が与えられたとき, 分類モデ ル $P(y \mid c, c)$ によってラベル $y$ を予測する. これが可能であると考えられる根拠は次のようにまとめら れる. モデルは, 生成の学習の際, 含意例のみを用 いているため, どのような例についても，「含意例 として妥当な効果部」を生成するはずである. した がって，実際に含意例であれば生成された効果部と 仮説の効果部が類似し, 矛盾例であれば相違してい ると期待される. 短い系列である効果部同士を比較 するだけで分類できるため, 問題をより簡単な形に 落とし込めているといえる。

## 3.3 データ拡張

提案手法は，事前学習済み言語モデルの知識を利用することで，データ不足の影響を緩和することを 想定しているが, 法律分野で使用される語彙は通常 の語彙とは大きく異なるため，ドメインデータをな るべく多く学習しなければならないことに変わりは ない. そこで，条文から擬似的な事例を作成する。 [1] は，各条文を個別の規範に分割し、各規範を前提，それ自身を仮説にして含意例を作成し，他方で 各規範を前提，その否定を仮説として矛盾を作成す る.この擬似データの目的は, モデルに文とその否定の違いを理解させることにあるが，われわれはさ らに，モデルに複数の規範から仮説に対応する一つ の規範を選んで効果部を生成させるように擬似デー タを設計する. ここでは，2つの要件効果ペアが接続詞によって連結された条文に注目する.1の例で 説明する．前提中の条文の一つは，「占有回収の訴 えは、 $[. .$.$] 提起することができない。」と，「その承$継人が [...] この限りでない。」という二つの規範か ら成る.この条文を前提とし，規範の内の一つ，た とえば，「占有回収の訴えは、 $[. .$.$] 提起することがで$ きない。」を仮説として含意例ができる. 他方で，こ の条文と，規範の効果「占有を侵奪した者の特定承継人に対して提起することができない。」と「占有 を侵奪した者の特定承継人に対して提起することが できる。(「この限りでない」を書き下した1) $)$ 」を入 れ替え，「占有回収の訴えは、占有を侵奪した者の 特定承継人に対して提起することができる。」とし た偽の規範は矛盾例を成す.もう一方の規範を使っ ても同様のことがいえる.2)

## 4 実験

COLIEE ワークショップ [3] において提供された 法律 NLI データセットを使用する. ${ }^{3)}$ 4) . 図 1 のよう に，前提は一つまたは複数の民法の条文であり，仮説は前提に照らして真偽が定まる一つの言明であ る. ラベルは含意または矛盾の二值であり，中立は 存在しないことに注意されたい. 元の訓練データと テストデータは，それぞれ 806 例と 81 例から成る.本実験では，元の訓練データを 81 例の検証データ と 725 例の訓練データにランダムに分割した. 回答欄の指示などのノイズを除去すると，前提および仮説を連結した平均の文長は約 120 トークンである. 680 例の擬似データは，テキスト生成と分類学習の 両方に使用する。

COLIEE にしたがい，正解率を主たる評価指標と して採用する.また，分析のために精度，再現率， F1 スコアも併記する。

生成モデルとして，一般的な日本語コーパスで事前学習した T5 モデル゙)を使用する。

以下の手法を試す。まず，これまでの state-of-theart である [1]を再現し，これを“Aoki”と表記する。

1）この書き下しは，[1] の提供する辞書を使用して行った.

2）われわれの手法では，このように，「ただし」を含む条文 しかデータ拡張に使用しないため，作成される擬似例の数は 680 となり，[1]の 3,351 例を大きく下回る．しかし，前提中 に複数の規範が含まれ，仮説に直接関係するのはそのうちの 一つ，という性質は法律 NLI特有であり，このような例を集中的に学習することが特に重要であると考えられることか ら，本研究ではこれを採用した.

3）データセットは 2021 年度コンペティションのタスク 4 に 使用されたものである

4） COLIEE データセットでは，人物は A，B のように記号で 表されている，日本語の T5 トークナイザはこの記号を語彙 として持っていないため，人物名をよくある日本の姓に置き 換えた。

5) https://github.com/sonoisa/t5-japanese
表 1 テストデータにおける手法別のスコア. スコアは 10 回の試行の平均. カッコ内は標準偏差. Aoki は [1] の 報告, Aoki† は本論文著者らによる再現

また，[1] と同じアーキテクチャで，擬似データの み提案手法に置き換えた実験を行い，これを“Aoki w our aug"とする. “T5 baseline 1” は, [5] の手法に したがい，前提と仮説を単に連結して T5 に入力 し，含意であれば「はい」，矛盾であれば「いいえ」 を出力するように訓練するという手法である。“T5 baseline 2" は, 生成の学習をスキップし, 前提と仮説を直接 T5 の encoder に入力することを除けば，提案手法と同じである. “T5 baseline 1,2 ” に関しても， われわれのデータ拡張手法と [1] のデータ拡張手法 を試し，それぞれ，“w Aoki’s aug”, “w our aug”を付 け加えて示す. 最後に, 提案手法とほぼ同じだが,分類段階のエンコーダーとして, T5 ではなくBERT を用いる手法である “TG w BERT” の実験を行う.

提案手法は “TG (Ours)” と表記し，データ拡張を 全く行わないものを “TG w $\backslash$ o aug”, [1] の擬似デー タを使ったものを “TG w Aoki's aug”と表記する。 ハイパーパラメータについての詳細は B に示す.

## 4.1 結果

表 1 は 10 回の試行の平均値と標準偏差を示す.提案手法は, 他の手法と比較して, 最も高い精度と 正解率を達成した。“T" と “T5 baseline 2”では提案手法のデータ拡張の方が効果が高く, “Aoki”では [1] のデータ拡張の方が高かった. “T5 baseline 1” で はデータ拡張による有意な差は見られなかった. 提案手法のデータ拡張は, 要件と効果という法律文書 の論理構造をモデルが学習するよう設計されてい
るため，要件に対する効果の生成を行う提案手法の アーキテクチャと組み合わさったとき最も効果を発揮するのは期待通りの結果である。他の手法では,前提に含まれる規範のうちどれが仮説に関連してい るかを明示的には学習しないため，提案手法のデー 夕拡張が奏功しなかったと考えられる。

いずれのデータ拡張を採用するにせよ，提案手法 は “T5 baseline 1” と“2”を上回る性能を見せ，提案手法の成功が $\mathrm{T} 5$ に負うものではないことを示した. “T5 w BERT” は “Aoki” より高い性能を示している.前者が後者と違う点は, 前提・仮説の代わりに生成 された効果部と仮説の効果部を BERT に入力するこ とのみであり, このことから, 生成によって効果部 の比較に問題を収斂させることが有効であることが 確認できる.

## 4.2 分析

表 2 に示した例のように, 提案手法の生成は期待 に沿った挙動を見せている. 38 件の含意例のうち，細部まで仮説と意味的に等しい効果部を生成するこ とに成功した例は 27 件であった. 失敗した 11 件に おいては，1）前提と仮説の間の概念をの関連性を認識するために外部知識を必要とする，例えば，所有物を贈り物として受け取った人は「特別承継人」で ある等，2) 仮説中に 3 人以上の人物が登場する，と いう特徴が見られた. 43 件の矛盾例のうち, モデル が仮説の効果部と明らかに相違する効果部を生成す ることに成功した例は 35 件あった. 失敗した 8 件 においては，1) 法律用語としても日常用語としても 使われるがその意味が全く異なる語彙が含まれる， 2) 要件部が，逆接または順接の接続詞で終わってお り，接続詞に正しく続くような効果部を生成するよ う誘導されてしまう, という特徵が見られた。

## 5 おわりに

本研究では，仮説を要件部と効果部に分割し，前提に基づき，要件部に対する効果部を生成すること を経由して，含意関係を予測する手法を開発した。 これは予測の性能を向上させるとともに，予測のた めの説明を提供するものであり，NLIにとどまらず，質問応答タスクへの発展の可能性を示している.

## 謝辞

貴重なデータを提供していただいた COLIEE 運営者の皆様に感謝いたします. 実験に関しては Tohoku NLP グループの皆様に有益な助言をいただ きました. 感謝いたします.

## 参考文献

[1] Yasuhiro Aoki, Masaharu Yoshioka, and Youta Suzuki. Data-augmentation method for bert-based legal textual entailment systems in coliee statute law task. The Review of Socionetwork Strategies, Vol. 16, pp. 175-196, 2022.

[2] Mi-Young Kim and Juliano Rabelo. Bm 25 and transformerbased legal information extraction and entailment. In ICAIL/COLIEE, 2021.

[3] Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Masaharu Yoshioka, and Ken Satoh. Summary of the competition on legal information extraction/entailment (coliee) 2021. In ICAIL/COLIEE, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 生成の結果

 & Fの承諾が必要である。 & 矛盾 \\

## B ハイパーパラメータ

TG， TGw $\backslash$ o aug， TG w Aoki’s aug に関しては，最適化手法として Adam[6]，損失関数として cross-entropy loss を用い る. 学習率は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは生成では 16, 分類では 32 である.

T5 baseline 1 に関しては，最適化手法として Adam，損失関数として cross-entropy lossを用いる。学習率は，1e-4. バッ チサイズは 64.

T5 baseline 2，T5+BERT に関しては，最適化手法としては Adam，損失関数として cross-entropy loss を用いる. 学習率 は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは，生成では 16，分類では 32 である.

[1] の再現では, [1] で報告されている通りのハイパーパラメータを用いた. 最適化手法は Adam, 損失関数は cross-entropy loss, 学習率は 1e-5, バッチサイズは 12 である.

## C アンサンブルによる予測

[1] はアンサンブルでの予測の結果を報告しているため, 本研究でも同様のアンサンブルを行う. 10 回の試行を行い, その全ての組み合わせに関して，ロジットの算術平均を取ることでアンサンブルを作る。検証データで予測の正解率が 上位 3 位のアンサンブルを ensemble $1 ， 2 ， 3$ と名づけ，テストデータでの正解率を示す. アンサンブルに関しても TG が最も高い性能を示している.

表 3


 チェジョンミン 1,2 本多右京 $1,2,3$ 渡辺太郎 1 乾健太郎 2,4 1 奈良先端科学技術大学院大学 2 理化学研究所 3 株式会社サイバーエージェント 4 東北大学 choi.jungmin.ce6@is.naist.jp, honda_ukyo@cyberagent.co.jp taro@is.naist.jp, kentaro.inui@tohoku.ac.jp,  