# 司法試験自動解答におけるルールベースと機械学習のシステム構築と アンサンブル

藤田真伎 ${ }^{1}$ 狩野芳伸 ${ }^{1}$
1 静岡大学 情報学部
mfujita@kanolab. net
kano@inf.shizuoka. ac.jp

## 概要

法律分野における自然言語処理技術の利用は，大 きく期待されている応用分野の一つである．究極的 な目標は裁判過程の自動化であり，裁判のコストの 高さや，判決を市民に説明するといった課題に対応 できる可能性がある. 法律分野の自然言語処理技術 に関するワークショップとして，我が国司法試験の 民法分野短答式問題の自動解答を行い性能を競う COLIEE が毎年開催されてきた. 我々は COLIEE の 含意関係認識タスクを対象に，ルールベースのシス テムと機械学習ベースのシステムの実装, 改良を行 い, さらにこの二つのシステムのアンサンブルを行 い，解答性能の向上を確認した。

## 1 はじめに

法律分野の自然言語処理技術に関するワークショ ップとして, 我が国司法試験の民法分野短答式問題 の自動解答を行い性能を競う Competition on Legal Information Extraction and Entailment (以下 COLIEE) [1]が毎年開催されてきた. COLIEE の Task 4 は民法条文一覧と過去問題が与えられ，それをもとにシ ステムを作成し, テスト問題の解答の精度を競うも のである.このタスクは，図 1 のように問題文と その問題を解くのに必要な関連民法条文の二つが与 えられ，問題文が正しいか否かを Yes かNo の二択 で答え,解答の精度を競うものである.

COLIEE 2021 の Task 4 に，我々はルールベース の解答方法を用いるシステム [2]を使用した。他の チームは BERT [3]を中心に使用するチーム [4] [5] [6]や T5 をベースにアンサンブルを行うチーム [7]，グラフニューラルネットワークを用いるチー ム[8]など機械学習ベースのシステムを使用してお り，ルールベースのシステムを使用するチームは 我々のみだった。推論過程がブラックボックスであ
る機械学習ベースのシステムと異なり，ルールベー スのシステムは人間の思考に沿った推論を行うこと ができため，究極的な目標である裁判過程の自動化 の際に重要となる, 説明可能な出力といった面で優 れている.

本論文では，ルールベースのシステムの改良を説明し，また BERT を用いた機械学習ベースのシス テムの実装, 改良を行う。その後, 二つのシステム のアンサンブルを行った結果, 精度が向上した.こ のことから，ルールベースのシステムは説明可能な 出力が可能なだけでなく, 精度向上にも貢献できる ことが確認できた.

図 1 COLIEE Task 4 (含意関係認識) の問題例

## 2 関連研究

ルールベースのシステムの先行研究として星野 [9]のものがあり，これをべースに用いる。これは 文章を構文解析システム [10]で解析し, 解析結果 から節分割をする。 その後, 解析結果を再度使用 し, 各節で主語, 述語, 目的語の節セットを抽出し て解答を行うものである。このシステムは複数のモ ジュールに分かれており，モジュールにより解答方法と精度が異なる。詳細探索モジュールは関連民法条文と問題文節セットが全て一致していたら比較を 行う，曖昧探索モジュールは節セットのうち二つが
一致していたら比較を行うなど比較条件が異なって いる.

2021 年に開催された COLIEE 2021 において,

Task 4 では BERT を用いた北海道大学のチーム [4] が最高の成績を収めた。このチームは, 主に訓練デ 一タの拡張と BERT のアンサンブルによって性能向上を図っている。訓練データの拡張には, 配布さ れる民法条文一覧を使用している，文章を分割する ことでデータ数を増やし, またその文章の一部を否定形にすることで論理を反転させることでもデータ 拡張をしている。また複数の BERT のアンサンブ ルも行っており, 異なるデータで学習させたモデル の中で, 精度の高いものを複数選択し結果をアンサ ンブルすることにより精度を向上させた.

## 3 提案手法

## 3.1 ルールベースのシステムの改良

## 3. 1.1 モジュールの構成

我々が以前に構築したルールベースのシステム [9]を改良し，精度の向上を図る.モジュールの詳細は次項以降で説明する．モジュールごとに解答で きる問題と正答率が異なるため, 正答率の高いモジ ュールから順に解答を行い, 最後に全ての問題に解答できるが正答率の低い全探索モジュールで解答を 行っている. 全探索モジュールで多くの問題に解答 してしまい, 全体の正答率が下がるのが問題点とな っていたため, 多くの問題に解答でき正答率の高い 中間層の項探索モジュールを作成し, 精度向上を図 った. 図 2 がモジュールの構成図である.

図 2 ルールベース改良後モジュール構成図

## 3. 1.2 二重構文解析

既存のシステムでは, 文章を一度構文解析し, 文章を複数の節に分割した後, その構文解析結果を再度使用し, 節ごとの主語, 述語, 目的語の節セット を作成していた. しかし, この方法では文章が長文 の場合に節セットが上手く抽出されない場合や，入 れ子構造に対応できないことがあった. そのため,節分割後に再度構文解析を行い，その結果を節セッ 卜抽出に使用することで上記の問題に対応した.こ の手法は全てのモジュールで使用する.

## 3.1.3 新規節セット

先述の二重構文解析を用いても，節セットが全て 抽出されない場合があった. そのような場合に備え 節セットの抽出方法を改善した。構文解析結果を使用しても節セットが全て抽出されなかった場合, 助詞の「は」や「が」の前に位置する単語を主語に,助詞の「に」と「を」の前に位置する単語を目的語 に設定した。また，比較しやすい節セットの作成の ため，人物名を全て「人」に，「甲」「乙」「丙」 を全て「物」に置き替える処理を追加し，比較を行 いやすい節セットを作成した。

## 3.1. 4 項探索モジュール

先述の新規節セットを用いた新たなモジュールを 作成する.このモジュールを項探索モジュールとし た. このモジュールでは新規節セットと既存の節セ ットの両方を使い，節セット内のどれか一つでも一致したら比較対象とみなし解答を行う. 複数の条文 が一致した場合, 一致数が多いものを優先し, 数が 同じ場合は精度が高いと考えられる既存の節セット で一致したものを優先する。

## 3.2 機械学習ベースのシステムの実装

機械学習手法として BERTを用いた. 14 年分の 過去問題のうち 2 年分を検証データ，残りを訓練デ 一タとして使用したものを 7 回実行し，全ての過去問題を検証に使用した。入力の最大文字列長は 512 とし，それ以上の長さの問題は解答を行わない。

## 3. 2.1 否定形

先行研究 [4]にならい，文末を否定形にすること でデータ拡張を行う. 先行研究では与えられた民法条文一覧のみを否定形にすることでデータ拡張して

いたが，提案手法では過去問題の問題文部分も否定形にすることで更なるデータ拡張を行う。

## 3.2. 2 データセットのリスト化

与えられた関連民法条文は，複数の条文に分かれ ている場合があるため, そのような場合は条文ごと に分割し使用する. 分割後の民法条文と, 問題文を セットにすることでデータ拡張を行う.

## 3. 2.3 置き替え

民法条文の中には，条番号で他の条文を参照する 場合が存在する. そのような場合, 参照先の条文の 情報がないと適切な解答が行えないと考え, 人手で 条番号を実際の条文の内容に置き替えたデータを作成した. また, これにより文章が長くなりすぎ解答 に不利になってしまう可能性も考慮し, 置き替え前 のデータと置き換え後のデータの両方を使用する.

## 3. 2.4 組み合わせ

分割により民法条文部分に必要なデータが含まれ なくなるなる可能性が考えられるため, 分割後のデ 一タから全ての組み合わせで再度民法条文部分を構築し, データ拡張と過不足のない民法条文の作成を 同時に行う.

## 3.2.5 AB 置き換え

過去問題の中には, 人物名がアルファベットで登場する場合があり, そのような問題は解答率が低い 傾向にある. そこで, 問題に二回以上人物名が登場 した場合，それらをアルファベットに置き替えるこ とで訓練データを拡張し, このような問題に対応で きる可能性を向上させた.

## 3. 2.6 解答の決定

推論の際に, 分割された複数の問題が異なる答え を示す場合がある。そのような場合は, Yes と No の解答数を比べ，解答数の多いものをそのモデルの 最終的な解答とする。また，結果のばらつきをなく すため同一の訓練データでモデルを 5 回作成し推論 を行う. その際, 5 個の出力の Yes の数と No の数 を再度比較し, 多いほうを最終的な解答として出力 する.

## 3.3 アンサンブル

ルールベースのシステムと機械学習ベースのシス テムのアンサンブルを行い, 精度の向上を図る. ア
ンサンブルの基準にはルールベースのシステムの上位モジュールを使用し，上位モジュールで解答でき た問題はルールベースのシステムの解答結果を，そ れ以外の問題は機械学習ベースのシステムの解答結果を用いる。どこまでを上位モジュールとするかを 検討するため，全てのパターンでテストを行う．

## 4 結果

## 4. 1 ルールベースのシステムの結果

COLIEE 2021 に提出した, ルールベースのシステ ムの実行結果について記述する。提出時のシステム の H18 R01 の過去の問題, R02 のテスト問題に対す る結果は表 1 のようになった. なお, ベースライン は今回の改良の行う前の, 前年度までのルールベー スのシステムである.

表 1 ルールベースのシステム問題害行結果

 &  &  &  \\

## 4.2 機械学習ベースのシステムの結果

機械学習ベースのシステムで過去の問題, テスト 問題に対し， 5 回ずつモデルの作成，推論を行いそ の結果を統合したものが表 2 である.

表 2 機械学習ベースのシステム問題実行結果

 &  &  &  &  &  \\

## 4. 3 アンサンブルの結果

過去問題,テスト問題の解答についてのアンサン ブルを行う．アンサンブルに用いる結果は，ルール ベースのシステムは表 1 に記載した KIS1 の結果,機械学習ベースのシステムは表 2 の最下段に記載 した全ての提案手法を用いる設定での実行結果を用 いる. なお, COLIEE 2021 提出後にシステムの軽微 な不具合を発見したため，少し修正を加えた。その ためルールベースのシステムの解答結果が少しだけ 異なっている.

結果を表に示したものが表 3 である. 例として，曖昧探索の行に記されている結果は，ルールベース のシステムの詳細探索, 曖昧探索モジュールまでで 解答できた問題についてはルールベースのシステム の解答結果を使用し, 解答できなかったその他の問題については機械学習ベースのシステムの解答結果 を使用する。

表 3 アンサンブルの結果

 &  \\

## 5 結果 $\cdot$ 考察

## 5.1 ルールベースの結果・考察

過去問題 806 問に対し実行した結果, 表 1 からシ

スト問題に対して実行した場合, 訓練データと比べ あまり精度が高くなかった。しかし, 改良前のルー ルベースのシステムであるべースラインの正答率は 0.513 と改良後の KIS1 3 より低くなっていた。この ことから, 改良により精度が低下したのでなく, ル ールベースのシステムが今回のテスト問題と相性が 悪かったと考えられる。

## 5. 2 機械学習ベースの結論・考察

表 2 から提案手法を用いたシステムは用いなか ったシステムより過去問題の解答精度が向上してい た。また，どれか一つの提案手法用いなかったもの は，提案手法を全て用いたものの精度と同等もしく は低下していた。よって全ての提案手法がマイナス には働いていないと考えられる。

テスト問題では提案手法を用いないものの方が精度は高かった。しかし, 提案手法を用いないものの 精度が過去問題と比べかなり高いこと，テスト問題 の問題数の少なさから，提案手法の有効性を否定で きる結果ではないと考え, 有効性については今後さ らなる検討が必要である。

## 5.3 アンサンブルの結論 ・ 考察

表 3 から，詳細探索モジュールのみ，または詳細探索+曖昧探索モジュールのルールベースのシステ ムの解答と，それ以外の問題の機械学習ベースのシ ステムの解答をアンサンブルしたものは，どちらか 一方のシステムの解答のみの場合よりも精度が向上 した. このことから，アンサンブルに使用するルー ルベースのシステムのモジュール選択が適切であれ ば, アンサンブルは非常に有効であると考えられる.

一部の問題のみしか解答できなくとも，高精度で 解答を行えるモジュール，システムがアンサンブル の際には有効であり，そのようなシステムを作成し アンサンブルすることで更なる精度向上が期待でき る.

## 6 おわりに

本論文では，ルールベースのシステムの改良，機械学習ベースのシステムの実装と改良を行い，それ らのアンサンブルを行った。結果，ルールベースの システム改良，アンサンブルで特に精度の向上を確認できた.

アンサンブルによる精度の向上は，精度の高い一 つのシステムだけでなく複数のシステムを使用する ことの有効性を示す結果となった。また，ルールベ ースのシステムを用いたアンサンブルにより精度が 向上したことから，ルールベースのシステムは説明可能な出力といった面のみならず，精度向上にも貢献できることを示せた.

今後は説明可能な出力を考慮しながら, 機械学習 ベースのシステムの改良の有効性の検討，アンサン ブルを前提としたモジュール，システムの実装に取 り組んでいきたい.

## 参考文献

[1] Summary of the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim , Masaharu Yoshioka, Ken Satoh. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021) , 2021 , pp. 1-7.

[2] Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task. Masaki Fujita, Naoki Kiyota, Yoshinobu Kano. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 1524.

[3] BERT: Pre-training of Deep Bidirectional

Transformers for Language Understanding. Jacob Devlin , Ming-Wei Chang , Kenton Lee , Kristina Toutanova. arXiv:1810.04805v2, 2019.

[4] BERT-based Ensemble Methods with Data Augmentation for Legal Textual Entailment in COLIEE Statute Law Task. Masaharu Yoshioka, Yasuhiro Aoki , Youta Suzuki. ICAIL '21: Proceedings of the Eighteenth International Conference on Artificial Intelligence and Law, 2021 , pp. 278-284.

[5] ParaLaw Nets - Cross-lingual Sentence-level Pretraining for Legal Text Processing. Ha-Thanh Nguyen, Vu Tran, Phuong Minh Nguyen, Thi-Hai-Yen Vuong, Quan Minh Bui, Chau Minh Nguyen, Binh Tran Dang, Minh Le Nguyen, Ken Satoh. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 54-59.

[6] BM25 and Transformer-based Legal Information Extraction and Entailment. Mi-Young Kim, Juliano Rabelo, Randy Goebel. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021) , 2021 , pp. 2530. [7] A Pentapus Grapples with Legal Reasoning. Frank Schilder, Dhivya Chinnappa, Kanika Madan, Jinane Harmouche, Andrew Vold, Hiroko Bretz, John Hudzina. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment(COLIEE 2021), 2021 , pp. 60-68.
[8] Using Contextual Word Embeddings and Graph Embeddings for Legal Textual Entailment Classification. Sabine Wehnert, Shipra Dureja, Libin Kutty, Viju Sudhi, Ernesto W. De Luca. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 6977.

[9] Question Answering System for Legal Bar Examination using Predicate Argument Structures focusing on Exceptions. Reina Hoshino, Naoki Kiyota, Yoshinobu Kano. Proceedings of the Sixth International Competition on Legal Information Extraction/Entailment (COLIEE 2019), 2019 , pp. 38-44.

[10] 日本語構文・格・照応解析システム KNP. 京都大学 大学院情報学研究科 知能情報学専攻 黒橋・褚・村脇研究室. (オンライン) (引用日: 2022 年 1 月 6 日.) https://nlp.ist.i.kyoto-u.ac.jp/?KNP.

## 付録 A

## A1 先行研究のシステムのモジュー

## ル概要

ルールベースのシステムの先行研究として星野 のシステムについて関連研究で述べた。星野のシス テムのモジュール構成図は図 A 1 のようになってい る.

図Ａ1 星野のルールベースのシステムモジュー ル構成図

詳細探索モジュールでは, 関連民法条文と問題文 の文末の節を比較し, 主語, 述語, 目的語からなる 節セットが全て一致していた場合のみ比較を行う。曖昧探索モジュールでは, 主語と述語のペア, 又は 述語と目的語のぺアが一致していたときに比較を行 う. 全探索モジュールでは節セットの比較をせずに 推論を行う。

## A2 COLIEE 2021 提出結果

ルールベースのシステムを COLIEE 2021 に提出 した際の，参加チームの結果一覧が表 A 1 である. KIS1 3 は表 1 と一致している.表 A 1 COLIEE 2021 Task 4 各チーム提出結果

 & Accuracy \\
& BaseLine & 57 & 0.5309 \\
HUKB & HUKB-2 & 55 & 0.7037 \\
HUKB & HUKB-1 & 55 & 0.6790 \\
HUKB & HUKB-3 & 54 & 0.6667 \\
UA & UA_parser & 51 & 0.6296 \\
INLP & INLP.Enss5C15050 & 51 & 0.6296 \\
JNLP & INLP.Enss5C15050SilverE2E10 & 51 & 0.6296 \\
JNLP & JNLP.EnssBest & 48 & 0.5926 \\
OVGU & OVGU_run3 & 48 & 0.5926 \\
TR & TR-Ensemble & 48 & 0.5926 \\
TR & TR-MTE & 45 & 0.5556 \\
OVGU & OVGU_run2 & 44 & 0.5432 \\
KIS & KIS1 & 44 & 0.5432 \\
KIS & KIS3 & 44 & 0.5432 \\
UA & UA_1st & 43 & 0.5309 \\
KIS & KIS2 & 43 & 0.5309 \\
UA & UA_dl & 41 & 0.5062 \\
TR & TR_Electra & 36 & 0.4444 \\
OVGU & OVGU_run1 & & \\


 藤田真伎 ${ }^{1}$ 狩野芳伸 ${ }^{1}$ 1 静岡大学 情報学部 mfujita@kanolab. net kano@inf.shizuoka. ac.jp  