# 日本の司法試験を題材とした GPT モデルの評価

チェジョンミン 1 笠井淳吾 2 坂口慶祐 1,3
1 理化学研究所 ${ }^{2}$ Kotoba Technologies, Inc. ${ }^{3}$ 東北大学
jungmin.choi@riken.jp, jkasai@kotoba.tech, keisuke.sakaguchi@tohoku.ac.jp

## 概要

ChatGPT などの大規模言語モデルが，多岐にわたるタスクにおいて人間の専門家の精度を上回ると報告されている.とくに日本の医師国家試験に ChatGPT が合格したという最近の研究報告からも，日本語についての高い性能が確認されている. 本研究では, 日本の司法試験（短答式）の憲法, 民法,刑法それぞれ過去 5 年分を対象に，GPT-3, GPT-4 および ChatGPT の精度を評価した. 結果として，現段階では日本の司法試験に対する正答率が $3 \sim 4$ 割と,合格水準を大幅に下回ることが明らかになった. 本研究では，単なる正解率にとどまらず，回答に必要な知識，能力を分解し，それぞれの観点での大規模言語モデルの性能を検証した. その結果，1) 大規模言語モデルは多くの条文の知識を有していること， 2) 特定の条文や判例の知識を必要としないが学説の理解を必要とする問題に関しては正解率が高いこと, 3) 判例の知識を必要とする問題に関しては正解率が低いこと，が示された. 米国の司法試験と比較して性能が低い原因の大部分は，日本法の知識，とくに判例の知識の乏しさにあると考えられる。

## 1 はじめに

大規模言語モデルはさまざまな一般的なタスクだけでなく，高度に専門的な他タスクでも人間の水準に匹敵することから大きな注目を集めている (Brown 他, 2020; Wei 他, 2022). Kung 他 (2023) は, 米国医師免許試験 (United States Medical Licensing Examination) において, ChatGPT が合格水準の正解率を得たことを示す. Choi 他 (2023) は, 法科大学院の論述試験で，単位認定の水準を満たす答案を作成したと報告する。また，GPT-4 は米国の司法試験である Uniform Bar Exam (択一式試験) において合格水準を大きく超え, 受験者の上位 $10 \%$ と同等の成績を修めたとされる (OpenAI, 2023).

日本語でも, GPT- 4 等の大規模言語モデルは高い性能を示している，日本語の多様なタスクを収録した評価用データセットである JGLUE (Kurihara 他, 2022)において，GPT-4 はゼロショットで人間の回答に肉薄する優れた成績を得た。また，日本の医師国家試験においては，数ショットの設定で合格水準の成績を得た (Kasai 他, 2023).

本研究では, 日本の司法試験（短答式試験）を取り上げる. 司法試験は，法律という領域の特性上，極めて地域性が高いため，英語で英米法の司法試験問題に回答できるモデルが日本法の司法試験問題に対応できるかは自明ではない.

実験の結果，この試験に関して現状の大規模言語モデルは人間の合格水準にははるかに及ばなかった. GPT-4 はランダム選択によるべースラインを上回るものの，正解率は $30-40 \%$ 程度に留まっており， GPT-3, ChatGPT についてはランダム選択と変わらない正答率であった. また，問題類型ごとの性能を検証したところ，1) 大規模言語モデルは多くの条文の知識を有していること，2) 特定の条文や判例の知識を必要としないが学説の理解を必要とする問題1) に関しては正解率が相対的に高いこと，3) 判例の知識を必要とする問題に関しては正解率が低いこと, が示された. つまり米国の司法試験と比較して性能が低い原因の大部分は, 日本法の知識，とくに判例の知識の乏しさにあると考えられる。

大規模言語モデルによる日本の司法試験の正解率が低い点を踏まえて，より詳細な検証をするため， (1) 正誤判定タスク，(2) 条文補完タスクという 2 種類の緩和問題を準備した. 正誤判定タスクでは，司法試験の問題形式の複雑さを緩和して正誤判定の二値分類に置き換え，条文補完タスクでは，条文を途中まで入力して続きを出力させた．実験の結果， (1) に関しては正解率はほぼ変わらず，司法試験の正誤問題自体の難しさが示された. (2)に関しては,


GPT-4 は条文の知識を相当程度有していることが観察された。

専門的な法的サービスは，その社会的な意義，需要に比して供給が限定されており，大規模言語モデルによる補助や自動化が期待されることは言を俟たない. 本研究では大規模言語モデルによる日本の司法試験の精度を評価し，これまでに他のタスク等で報告されているような正解率には至っていないことを確認した。本研究に関するデータを公開し ${ }^{2)}$ ，今後の精度向上や言語モデルを用いた法的サービス応用に対する手がかりとなることを期待する.

## 2 背景

短答式試験問題は多肢選択式で与えられ，法務省が定める短答式試験の合格基準は，各科目において, 満点の 4 割（憲法 20 点, 民法 30 点, 刑法 20 点）以上の成績を得，各科目の合計得点が一定以上の成績3)を得ることである.

ウ. a. 憲法第 29 条第 1 項が保障する財産椎は、人間が、人間としての価值ある生活を営む上に必要な物的手段の享有意味する。

b. 基幹産業の国有化は、同条第 3 項の正当な補償を条件として、同条第 2 項の「公共の福祉」を実現する立法府の裁量に委权られている。[No. 12]

図 1: 憲法，学説の理解を問う問題の例. たとえばアは，a が，当該条文を「法律で定める財産権の不可侵を規定したもの」と解釈している一方，同 $\mathrm{b}$ は， そう解釈することで不合理が生じると主張している.したがって，bはaの批判となっている.

内容各問は，回答に必要な知識または能力によって分類できる. すなわち，憲法: 条文の知識, 判例の知識，学説の理解; 民法: 条文の知識, 判例の知識; 刑法: 判例の知識, 学説の理解である ${ }^{4)}$. 図 1,2,3 にそれぞれの類型の代表的な問題を示す.

2) https://github.com/keisks/j_bar_exam

3）年度によって異なり，2018 年度から 2023 年度では，満点 175 点中 96 点から 108 点

4）厳密には，判例の知識は条文の知識を包含しているが，ここでは明示的に判例の知識を要求する問題を「判例の知識」 に分類する。

図 2: 民法，条文の知識を問う問題の例. たとえばアは，民法第 9 条「成年被後見人の法律行為は，取り消すことができる。ただし，日用品の購入その他日常生活に関する行為については，この限りでない.」に反しており，誤っている.

図 3: 刑法，判例の知識を問う問題の例.たとえば選択肢 1 は，大審院大正 15 年 10 月 8 日判決，刑集 5 巻 440 頁の判旨に反しており，誤っている.

## 2.1 データの作成

データの作成は，法務省が公開している過去の問題と解答を，JSON 形式のファイルに整理することによって行なった. 2018 年度のデータを，大規模言語モデルに問題形式を学習させるためのプロンプトに使用し，2019 年度から 2023 年度までの問題を検証の対象とした。問題数は各年度，憲法 20 問，民法 36-37 問，刑法 20 問である.

## 3 実験と分析

## 司法試験回答タスク

実際の受験者の環境と同様，短答式試験の各科目各問に対して，図 $1 ， 2 ， 3$ のように，問題文と全選択肢を結合して入力とし，正解の選択肢を出力させることを目指した. モデルがこの問題形式に従って出力するよう, 文脈内学習 (in-context learning) のプロンプトとして，2018 年度の問題からランダムに 5 問選択し，入力の先頭に追加した. 2018 年度の問題はプロンプトにのみ使用し，評価の対象外とした。

図 4: 2023 年度の各科目ごとの正解率. 点線は合格者平均点を示している.

## 3.1 モデルと評価

本実験では OpenAI 社が提供する 3 つの大規模言語モデル， GPT-3, ChatGPT (gpt-3.5-turbo) と GPT-4 の API を使用した。モデルはいずれも 2023 年 3 月以前のものを使用している. また，文脈内学習に使用するプロンプトとして，本実験では 2018 年の問題からランダムに選択した 5 問とその正解を使用した.

## 3.2 結果

図 42023 年度におけるモデルの正解率を示す. スコアは，GPT-4 が全ての科目において最も高く，ランダム選択による期待値を有意に上回っているが，正答率は 30-40\%にとどまっており合格者平均（約 70\%）には程遠い結果となった. ChatGPT と GPT-3 は，ランダム選択のベースラインの精度と変わらなかった. また，他の年度についてもほぼ同様の傾向が見られた。

## 3.3 分析

大規模言語モデルの性能をより詳細に調べるため，以下のような問題の類型ごとの分析を行った. 司法試験の問題は，主に学説の理解を問うもの (theory), 条文の知識を問うもの (statute), 判例の知識を問うもの (case) という 3 類型に分けることができる。2019年度から 2023 年度の全科目の問題を類型ごとに採点した結果が表 5 である. GPT-4 の結果に注目すると, theory 型のスコアが最も高く, statute 型，case 型，とスコアが下がっていく傾向が見られる. すなわち，スコアは必要とされる法律の知識の量と反比例しており ${ }^{5)}$, 法律知識の不足が正解率を引き下げていることを示唆している.


図 5: 問題類型ごとの正解率

表 1: 正誤判定タスクの結果

## 4 緩和タスク

正誤判定タスク司法試験回答タスクでは，問題の形式が，「正しいもの/誤っているものの組合わせを選べ」など，複雑なものになっている。こうした形式の複雑さの影響を除去してモデルの性能を調べるため，問われる内容はそのままに，入力と出力を次のように修正したタスクで実験を行った。すなわち，問題文を，各文の正誤を問う形に変更し，正しいものには 1 ，誤っているものには 0 とラベルを付与したものを 915 問準備した ${ }^{6)}$. 正誤判定タスクの例は Appendix A（表 3）に示す. 正誤判定タスクにおける各モデルの成績は, 表 1 に示す通りである.本タスクと同様に，GPT-4 が最も高く，ランダム回答の正解率を優位に上回っていた一方, GPT-3 と ChatGPT はランダム回答の正解率を大きく上回ることはなかった。

条文補完タスク大規模言語モデルがそもそもどれだけ日本の法律（条文）の知識を保有しているかを調べるため，各条文を文長で半分に分割し，前半を入力として後半を出力させることができるかというタスクを設定した。一つの条文が複数の文から成る場合は各文を独立に扱い，憲法: 475 文，民法: 2,355 文，刑法: 195 文を得た。なお，各法典の最初の 4 条をプロンプトとして与えている. 条文補完タスクは生成問題であるため，厳密な評価は難しい. 大まかな傾向を把握するため，本実験では自

6）なお，短答式試験から作成された二値分類タスクという点で類似するものとして COLIEE Task 4 (Kim 他, 2023) があるが，COLIEE Task 4 は条文の知識のみで解ける問題に限定されており，各記述と条文と合わせた含意関係認識問題である点，本稿で提案する正誤判定タスクは，大規模言語モデルへの指示を含む形に書き換えられている点などが異なる.
表 2: 条文補完タスクの結果 (上段が BERT score，下段が BLEU)

然言語処理で広く使われている 2 種類の自動評価指標を採用する．目標とする文との意味的な類似度を表す BERTScore ${ }^{7)}$ と，表層的な語彙の一致度を表す $\mathrm{BLEU}^{8}$ を用いた。その結果を表 2 に示す。いずれの評価指標においても，GPT-4 のスコアが最も高く, ChatGPT, GPT-3 が続く結果となった. GPT-4 に関していえば，大半の例で，元の条文に近い文を出力できているといえる。なお，これらのスコアは生成された文と目標とする文との一般的な類似性を表すものではあるが，法律分野における厳密な意味類似性を評価することは難しく，正しく生成できているにもかかわらずスコアが低い例も多数ある。 Appendix A（表 4, 5）に，具体的な生成例とスコアを示す。

## 5 関連研究

本節では法律タスクにおける大規模言語モデルの最近の応用を概観する．大規模言語モデルが有望視されている分野のひとつは，判決予測および法的推論である. Nguyen他 (2023) は，日本の民法の条文に基づく二值分類の含意関係認識タスクにおいて，GPT-4 が 8 割を超える高い正解率を得たことを報告する. Trautmann 他 (2022) は，判決予測タスクにおける性能を向上させるために，法律分野に対応したプロンプトエンジニアリングを導入している。 すなわち，最終的な判決を予測させる前に「違法性は認められるか」といった中間的な質問を挟む手法である.この手法は 3 つの多言語データセットにおいて有効であることが示されている. Blair-Stanek 他 (2023) は，GPT-3 の法的推論能力を調査し, 数段階のプロンプトにより, 高い精度と信頼性を達成できることを明らかにしている。同様に $\mathrm{Yu}$ 他


（2022）は，法律家の分析的アプローチを模倣した Chain-of-Thought (CoT) プロンプトを導入し，大規模言語モデルが論理的に首尾一貫した関連性のある文章を生成するよう導く. この研究では， Nguyen 他 (2023) と同様の含意関係認識タスクにおいて，CoT プロンプトによるゼロショット回答が数ショット回答を上回ったことを報告している. Choi 他 (2023) は, ChatGPT が米国の法科大学院の論述試験に対して生成した答案は及第点を上回るレベルであると評価している。

## 6 おわりに

本研究では，大規模言語モデルが日本の司法試験にどの程度対応できるかを評価した。その結果，現段階では合格水準とは大きく離れており，特に判例に関連した問題に対する対処能力が低いことが明らかになった．また，緩和実験からは大規模言語モデルが条文の知識を一定程度には保有しているものの，具体的な事例にあてはめ結論を導くことは難しいことがわかった.

今後は大規模言語モデルに日本の法律知識をどう学習させるのかあるいは抽出するのか，また日本の法律分野における厳密な意味類似性を評価できるような自動評価尺度の構築といった研究を進めることが考えられる。

## 謝辞

本稿の執筆にあたっては，吉永一行教授 (東北大学大学院法学研究科), ならびに佐々木将也弁護士 (西村あさひ法律事務所・外国法共同事業)にご助言を賜りました。深くお礼申し上げます。

## 参考文献

[1] Blair-Stanek, Andrew, Nils Holzenberger, and Benjamin Van Durme (2023) Can GPT-3 Perform Statutory Reasoning? in Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law, ICAIL '23, p. 22-31, New York, NY, USA: Association for Computing Machinery.

[2] Brown, Tom, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei (2020) Language Models are Few-Shot Learners, in Larochelle, H., M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin eds. Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901: Curran Associates, Inc.

[3] Choi, Jonathan H., Kristin E Hickman, Amy Monahan, and Daniel

Schwarcz (2023) ChatGPT goes to law school., Journal of Legal Education.

[4] Kasai, Jungo, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, and Dragomir R. Radev (2023) Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations, ArXiv, Vol. abs/2303.18027.

[5] Kim, Mi-Young, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh (2023) COLIEE 2022 Summary: Methods for Legal Document Retrieval and Entailment, in Takama, Yasufumi, Katsutoshi Yada, Ken Satoh, and Sachiyo Arai eds. New Frontiers in Artificial Intelligence, pp. 51-67, Cham: Springer Nature Switzerland.

[6] Kung, Tiffany H., Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo, and Victor Tseng (2023) Performance of ChatGPT on USMLE: Potential for AIassisted medical education using large language models, PLOS Digital Health, Vol. 2, No. 2, pp. 1-12, 02.

[7] Kurihara, Kentaro, Daisuke Kawahara, and Tomohide Shibata (2022) JGLUE: Japanese General Language Understanding Evaluation, in Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France: European Language Resources Association, June.

[8] Nguyen, Ha-Thanh, Randy Goebel, Francesca Toni, Kostas Stathis, and Ken Satoh (2023) Black-Box Analysis: GPTs Across Time in Legal Textual Entailment Task.

[9] OpenAI (2023) GPT-4 Technical Report, ArXiv, Vol. abs/2303.08774.

[10] Trautmann, Dietrich, Alina Petrova, and Frank Schilder (2022) Legal Prompt Engineering for Multilingual Legal Judgement Prediction, ArXiv, Vol. abs/2212.02199.

[11] Wei, Jason, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V. Le (2022) Finetuned Language Models are Zero-Shot Learners, in The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022: OpenReview.net.

[12] Yu, Fang, Lee Quartey, and Frank Schilder (2022) Legal Prompting: Teaching a Language Model to Think Like a Lawyer, ArXiv, Vol. abs/2212.01326

## A Appendix

表 3: 短答式問題とそれをもとに作成した正誤判定問題の例. 問題文本文と，アの記述を組み合わせ，大規模言語モデルへの指示「正しければ〜」を含む形に書き換えている. 残りのイからオの記述についても同様の方法で正誤判定問題を作成するが，ここでは省略している.

 &  \\

表 4: GPT-4 による条文補完の結果と BERTScore (BS)，BLEU スコア (BL)．法律上異なる効果である，「取り消すことができる」と「無効である」を混同する誤りが見受けられる一方，「この限りでない」の内容を正しく書き下すなど，実際の条文の文言とは隔たっているためスコアは低いが，条文の知識を正しく保有していることを示す例がある.

 &  & 0.83 & 0.19 \\

表 5: 各モデルで，最も BERTscore が高かった条文（a: GPT-4, b: ChatGPT, c: GPT-3)と，それに対する正解，及び全てのモデルの出力結果.

 &  \\

