# 日本語法律 BERT を用いた判決書からの重要箇所抽出

菅原祐太宮崎 桂輔 山田寛章 徳永健伸
東京工業大学 情報理工学院
\{sugawara.y.ag@m, miyazaki.k.am@m, yamada.h.ax@m, take@c\}@.titech.ac.jp

## 概要

本研究では判決書からの重要箇所抽出タスクに おいて，法律分野の文書のみで事前学習を行った BERT，日本語 Wikipedia で事前学習された BERT か ら追加の事前学習を行なった BERTを用い，その性能を汎用日本語 BERT と比較検証した. 実験より,法律分野に特化した BERT モデルを用いることで，汎用日本語 BERT を超える性能があることを確認 した.

## 1 はじめに

裁判の記録である判決書は情報技術の発達により 電子化され，人々が参照できるようになっている.判決書にはその判決に至るまでの詳細な議論が記録 されており, 他の新聞記事や科学技術文書に比べて 内包される文が長く複雑な文となっている. 法律に 関する仕事している人々は関連事件の調査に膨大な 時間を費やしており，判決書に対する情報アクセス の容易化・効率化は重要な問題となっている. 判決書から重要箇所を自動的に抽出することができれ ば，判決書の効率的な調査や判決書要旨の作成の大幅な効率化が見込める. また，判決書はその長い文書長から，全文を自動要約モデルに入力することは 現実的ではないため, 本研究で行うような重要箇所抽出は自動要約の前処理としても有用である.

近年，大規模な事前学習によって汎用的な言語モ デルを構築するアプローチが普及している。なかで も BERT は様々なタスクで利用され，各タスクに応 じて fine-tuningを行うことで高い性能を実現してい る [1]. 更に，BERT は事前学習において，特定ドメ インのデータを用いて学習することで, 同ドメイ ンでの性能が高まることが報告されている $[2,3]$. Chalkidis らは、EU、英国、米国における英語で書か れた法律ドメインの文書のみで事前学習を行なっ た BERT，汎用ドメインのデータで事前学習された BERT に対してさらに法律ドメインの文書で追加事前学習を行なった BERT の 2 つの LEGAL-BERT を 構築した [4]. これらの LEGAL-BERT は, 法律ドメ インのテキスト分類と系列ラベリングのタスクに おいて，汎用ドメインで事前学習を行った BERT よ りも高い性能を達成している. 日本の判決書からの 重要箇所抽出においても，法律分野の文書データに よって BERT の事前学習を行った上で fine-tuning を 行うことで, Wikipedia等で事前学習された BERT よ りも高い性能を発揮することが期待できる。

そこで本研究では, (1) 法律分野の文書のみで事前学習を行った BERT，(2) 日本語 Wikipedia で事前学習された BERTをさらに法律分野の文書を用いて 追加事前学習を行った BERTを用い, 日本の判決書 からの重要箇所抽出タスクにおける性能を，汎用日本語 BERT と比較検証する。

## 2 関連研究

日本における判決書からの重要箇所抽出の研究と して，阪野らはSVMを用いて要旨の内容に該当す る箇所を判決文から自動的に抽出する手法を提案し ている [5]. 山田らは抽出型要約の一環として判決書の修辞役割（例：結論，法律の引用等）分類を行 い，文脈を考慮した階層型 RNNをべースとするモ デルを用いる手法を提案している [6].

英国における判決書を対象として，Hachey らは抽出型要約において, 機械学習を用いて修辞役割分類 を分別したうえで要約生成を行っている [7]. Tran らは修辞役割分類に対し，CNN または BiLSTM を 用いたモデルを提案している [8].

また，ドメイン固有のテキストデータに関するこ れまでの研究により, ドメイン固有の言語モデルを 作成することの重要性が指摘されている. 汎用ドメ インのデータで事前学習された BERT のモデルに 対して，さらに特定ドメインに特化したデータで 追加事前学習を行うことで，様々な専門ドメイン に対応したモデルが作られている. Lee らは大規模 なバイオ分野の文献を用いて事前学習させること

で，バイオ分野に特化した BioBERT を作成した [2]. BioBERT は Wikipedia 等で事前学習された BERT や 他のモデルに比べて，バイオ分野のテキストマイニ ングのタスクでより高い性能を達成している。ま た, Beltangy らは科学関連のコーパスに対して事前学習を行ったSciBERT 導入し, テキスト分類と系列レベリングのタスクで性能改善が報告されてい る [3]. 法律分野において, Chalkidis らは法律ドメ インの文書のみで事前学習を行なった BERT，汎用 ドメインのデータで事前学習された BERT に対し てさらに法律分野の文書で追加事前学習を行なっ た BERT の 2 つの LEGAL-BERT を構築した. 2 つ の LEGAL-BERTを用いて，3つの法律分野のデータ セットに対しテキスト分類と系列ラベリングのタス クを解いた結果, ほとんどのタスクで LEGAL-BERT が汎用ドメインで事前学習した BERT より高い性能 を達成している。これらは全て英語に限定したもの であるが，近年は他言語に対して事前学習を行なっ たモデルが構築されている. 特に法律文書に関し ては，Stella らがフランス語の法律文書に特化した juriBERT，Mihai らはルーマニア語の法律文書に特化した jurBERT をそれぞれ構築している $[9,10]$.

本研究では日本語 Wikipedia による BERT [11], 宮崎らが構築した法律文書に特化した BERT[12]をそ れぞれ用いて，性能を比較する。

## 3 実験

## 3.1 用いたコーパス

本研究では，株式会社 LIC より提供された日本の 民事事件判決書を日本語法律分野コーパスとして 用いる. 各判決書には法律知識を有する作業者が 判例として重要な記述と思われる箇所を特定した 注釈（重要箇所）が付与されている。コーパスは全 84,900 件の判決書から成る. 実験のためにコーパス を訓練データ，開発データ，テストデータに 8:1:1 の割合で分割した. 重要箇所が元から付与されてい ない，または適切に付与されていなかった文書を除外し, 最終的に訓練データ 67,870 件, 開発データ 8,490 件，テストデータ 8,490 件を得た。

## 3.2 前処理

民事事件判決書のコーパスに対し，データの前処理および文分割, 形態素分割を行った. まず，行頭 に出てくる見出し番号（例：(一）や（ア）など）を表 1 コーパス中の重要箇所を含む文の割合 [\%]

表 2 データセットの詳細 (重要文抽出)

削除し，インデントに使われている全角スペースも すべて削除した，次に文分割を行った．句点の直後 に括弧閉じが存在する場合のみを例外として扱い， それ以外のすべての改行及び句点を文末とした. 次 に JUMAN++ [13] を用いて文を形態素に分割した。

## 3.3 重要文抽出タスクの設定

一文中の重要箇所の割合と，それらの文がコーパ ス全体に占める割合の関係を表 1 に示す。この表か ら，重要箇所が付与された文のうち9割は文全体が 重要箇所となっており, 文の一部だけが重要箇所と なっていても，重要箇所が文に占める割合が十分に 大きいことが分かる. そのため, 本実験では重要箇所を含む文全体を重要文とみなして，重要文抽出の データセットを構築する.

作成したデータセットの特徴を表 2 に示す. 1 文書あたりの平均文数が大きく, 平均文書長が長いこ とが分かる.

## 3.4 実験設定

本研究では，ある文が重要箇所か否かを当てる二値分類タスクを解く．評価指標として精度，再現率， $\mathrm{F}$ 值を用いる。

実験には 3 つの異なる BERT の事前学習済みモデ ルを用い，それぞれを本重要箇所抽出タスクに対し て fine-tuning した上で実施する. 用いる事前学習済 みモデルは，京都大学が公開した日本語 Wikipedia によって学習した日本語 BERT[11], 宮崎ら [12] に よって BERTを日本語法律分野コーパスを用いて一 から事前学習した JLBERT-SC, 既存の日本語 BERT に日本語法律分野コーパスによる追加事前学習をお こなった JLBERT-FP である。なお，JLBERT-SC 及
表 3 サブワード化時のデータセット（日本語 BERT）

*長文：512トークンを越える文

表 4 サブワード化時のデータセット（JLBERT-SC）

び JLBERT-FP の事前学習に用いられた文書と本実験で用いるテストデータ中の文書との間に重複は ない.

訓練，開発，テストデータにおいて，重要箇所と なる文の総数が文全体の総数の約 $6 \%$ ほどとなって おりデータセットに含まれるインスタンスのクラス が占める割合に偏りがある。これに対処するために 損失関数の重みの値を工夫する．損失関数として使 う BCEWithLogitsLoss は

$
l_{c}=-w_{c}\left[y_{c} \cdot \log \sigma\left(x_{c}\right)+\left(1-y_{c}\right) \cdot \log \left(1-\sigma\left(x_{c}\right)\right)\right]
$

と表される。 $w_{c}$ はクラス $\mathrm{c}$ にける重み（ハイパー パラメータ),$y_{c}$ はラベル (今回の場合 0 か 1),$x_{c}$ は推定値を表す.この時，クラスにおける重み $w_{c}$ を

$
w_{c}=\frac{\text { クラスの学習データ数 }}{\text { 全クラスの学習データ数の和 }}
$

とすることで損失への寄与率に差が出ないようにす ることができると考えられる。

またサブワードによるトークン化を行う際，日本語 BERT と JLBERT-FP では元の日本語 Wikipedia を 用いた事前学習時に構築された既存の語彙を用い た. JLBERT-SC では日本語法律分野コーパス [12] を用いて事前学習した際に構築した語彙を用いた。 この時のデータセットの詳細を表 3,4 に示す. 法律文書に特化した語彙リストを参照した方が日本語 BERT の語彙リストを参照した場合よりも，平均文書長が小さくなっていることが分かる. 学習と推論 の際，512トークンを超える文に関しては文の初め から 512 トークンまでを入力として用い, 以降は削除した.

全ての BERT において optimizer は AdamW, 学習率 $1 e-5$, バッチサイズ $\in\{16,32\}$, エポック数表 5 各モデルの性能（マクロ平均値）

表 6 各モデルの性能（ミクロ平均値）

$\in\{3,4\}$, ドロップアウト 0.5 に設定し学習した. ベースラインモデルとして, 2 層からなる BiLSTM を用いた重要箇所抽出器を構築した。 optimizer は SGD, 学習率 0.01 , バッチサイズ $\in\{32,64\}$, エポッ ク数 15 で学習した. トークン化は日本語 BERT と JLBERT-FP に習い既存の日本語 BERT の語彙を用い て BPE 適用した. 単語埋め込みの次元数 200 , 中間層の次元数を 100 とした. また，損失関数である CrossEntropyLoss に対し BERT と同様の重みづけを 行った.

## 4 実験結果

重要箇所抽出の結果を表 5,6 に記す. ベースラ インである BiLSTM に比べて, 全ての事前学習済 みモデルが高い性能を出していることが分かる. また，マクロ平均に関して，F 値が JLBERT-SC と JLBERT-FP は日本語 BERT と比べて高い性能を出し ている (JLBERT-SCでは 0.15, JLBERT-FPでは 0.148 の上昇). 同様にミクロ平均に関しても高い性能を 出している. これは英語法律文書に特化した BERT においても同様の性能向上が見られている [4]. 今回はクラス間の比率の差が大きい不均衡データで あったが，損失関数の重み付けの工夫を行いドメイ ンに特化した BERT を構築することでドメイン固有 のタスクにおいて性能が向上することがわかる.

また，入力制限である 512 トークンを超える文に 対して BERT が上手く推論できているかどうかを評価した。文書全体から 512 トークン以下の文と 512 トークンを越える文をそれぞれ 500 個ずつランダム にサンプリングして，各 BERT におけるミクロ平均 の $\mathrm{F}$ 値を算出する方法を計 10 回繰り返しその平均
表 7 文長におけるモデルの性能差（ $\mathrm{F}$ 值）

を取った. その結果を表 7 に示す. 表 5,6 に示した ものと同様に，JLBERT-SC と JLBERT-FP が汎用日本語 BERT よりも高い性能が出ていることが分か る.また，512 トークンを超える文における $\mathrm{F}$ 值が 512 トークン以下の文と表 6 の $\mathrm{F}$ 值よりも大きな值 となっており，512トークンを超える文に対して十分な認識性能を持っていることが分かる.

## 5 おわりに

本研究では判決書からの重要箇所抽出タスクに おいて, 汎用日本語 BERT と法律分野に特化した BERT モデルを適用しその性能を検証した. その結果，法律分野の文書のみで事前学習を行った BERT，日本語 Wikipedia で事前学習された BERT をさらに 追加事前学習を行なった BERT の両方で汎用日本語 BERT を越える性能があることを確認した. 今後の 課題としては，今回のモデルは文脈を考慮していな いため，文脈を考慮した階層型モデルの提案とその 実装，最終的に抽出した文を抽象型要約タスクに応用することが考えられる。

## 謝辞

本研究で使用した判決書データは株式会社 LIC から提供を受けたものである。本研究は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. 092019.

[3] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: Pretrained language model for scientific text. In EMNLP, 2019.

[4] Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. LEGALBERT: The muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2898-2904, Online, November 2020. Association for Computational Linguistics.
[5] 阪野慎司, 松原茂樹, 吉川正俊. 機械学習に基づく判決文の重要箇所特定. 言語処理学会年次大会発表論文集, pp. 1075-1078, 名古屋, 2006.

[6] 山田寛章, Simone Teufel, 徳永健伸. 見出し情報を考慮した階層型 $\mathrm{rnn}$ による日本語判決書のための修辞役割分類. 言語処理学会年次大会発表論文集, pp. 37-40, 2018.

[7] Ben Hachey and Claire Grover. Extractive summarisation of legal texts. Artificial Intelligence and Law, Vol. 14, No. 4, pp. 305-345, 2006.

[8] Vu D. Tran, Minh L. Nguyen, Kiyoaki Shirai, and Ken Satoh. An approach of rhetorical status recognition for judgments in court documents using deep learning models. In 2019 11th International Conference on Knowledge and Systems Engineering (KSE), pp. 1-6, 2019.

[9] Stella Douka, Hadi Abdine, Michalis Vazirgiannis, Rajaa El Hamdani, and David Restrepo Amariles. JuriBERT: A masked-language model adaptation for French legal text. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 95-101, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Mihai Masala, Radu Cristian Alexandru Iacob, Ana Sabina Uban, Marina Cidota, Horia Velicu, Traian Rebedea, and Marius Popescu. jurBERT: A Romanian BERT model for legal judgement prediction. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 86-94, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会,名古屋, 2019 .

[12] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した bert の構築. 言語処理学会 第 28 回年次大会, 2022.

[13] Arseny Tolmachev and Sadao Kurohashi. Juman++ v2: A practical and modern morphological analyzer. 言語処理学会 第 24 回年次大会, 岡山, 2018.
 菅原祐太宮崎 桂輔 山田寛章 徳永健伸 東京工業大学 情報理工学院 \{sugawara.y.ag@m, miyazaki.k.am@m, yamada.h.ax@m, take@c\}@.titech.ac.jp  