# 民事判決のオープンデータ化へ向けた 機械処理による判例仮名化の検証

久本空海城戸祐亮津金澤佳亨僖
株式会社 Legalscape
info@legalscape. co. jp

## 概要

民事判決を公開するためには、個人情報や秘匿情報への配慮が課題となっており、それらの匿名加工 （仮名化）が必要とされる。しかし、大量の判決全 てを人手のみで匿名加工することは現実的に難しい。

我々は判例仮名化を固有表現抽出問題の拡張と捉 え、その自動処理の実現性を検証した。実際の判例 データを用いた実験により、事前学習済み言語モデ ルを使った系列ラベリングで一定以上の性能（適合率 $93.4 \%$ 、再現率 $94.5 \%$ ）が実現可能なことを確認し た。加えて、人手修正の方向性についても検討した。 なお、当発表に関する情報はウェブ上の記事とし ても公開している。

## 1 はじめに

法治国家において判例（裁判所による過去の法律的判断) は、法的安全性のために重要な情報である。 またそのようなデータは、様々な研究や新たなサー ビスの開発にも有益なものである。

日本国における判例は現状、裁判所によって社会的関心が高いと判断されたものがウェブサイト掲載 されているほか、法律系出版社などが一部を独自に 収集し公開している。町村の調查[1]によれば、2017 年に全国の地方裁判所の民事・行政事件の処理済み 件数は約 16 万件だったが、裁判所がウェブ掲載した 判決数はそのうち 44 件（0.03\%）のみであり、民間企業である Westlaw Japan の判例データベースでも 5,033 件（3.02\%）にすぎない。

日本国における民事司法制度改革の流れから 2020 年 3 月、「民事判決のオープンデータ化検討プ ロジェクトチーム (PT) ii」が日弁連法務研究財団 により設置された。これは、政府による民事裁判手
^{i}$ https://note.com/legalscape/n/nf6341940deaa

iihttps://www.jlf.or.jp/work/hanketsuopendata-pt/
}

続き IT 化の取り組みに併せ、民事判決を電子化し公開することを検討するプロジェクトである。この取 り組みには、日本弁護士連合会の関係者や法律系出版社、法学研究者などが構成員として関わり、加え てオブザーバーとして内閣官房や法務省、最高裁も 参加している。

判例のオープンデータ化へ向けて大きな課題とな るのが、個人情報や秘匿情報の取り扱いである。セ ンシティブな情報が含まれうる判決文は、そのまま の形で公開することは難しく、これらの匿名加工 (仮名化）が必要となる。

日本において年間数十万件とも言われる民事判決 の全てを、人手のみで匿名加工することは現実的に 難しい。そのときに、その作業を自然言語処理技術 で（半）自動化するといらことが考えられる。

我々は判例の仮名化を固有表現抽出問題の拡張と して機械処理による検証を行い、一定以上の性能が 実現可能であることを確認した。当発表では各国の 状況や、実際の日本語判例文を用いた実験、そして それを踏まえた民事判決オープンデータ公開を実現 するに当たっての課題について述べる。

## 2 判例の仮名処理

判例の匿名加工処理においては、単に個人情報や 秘匿情報など文中のセンシティブな部分を“黒塗り” すれば十分というわけではない。例えば「原告山田」「被告佐藤」「佐藤が〜」といった文中箇所を、一律に「原告口」「被告田」「ロが〜」と黒塗りして しまうと、各箇所がどの実体を指すかがわからず、閲覧者にとっての利用価値が損なわれてしまう。そ のために、それらが同一実体であることを示すため に“仮名記号”を割り振り「原告 $X\rfloor 「$ 被告 $Y\rfloor 「 Y$ が〜」などと置き換える処理が施されることが多い。 これらの処理を総称して仮名化と呼ぶ。

裁判所や法律系出版社などから現在公開されてい る判例は、人手作業による仮名化が行われている。

しかし、もしこれが年間数十万件というスケールに なると、それら全てを人手のみで実施するのは現実的ではない。そこで検討したいのが、自然言語処理技術の活用による（半）自動化である。

## 2.1 他国での取り組み

米国においては既に Public Access to Court Electronic Records (PACER) iii という公的データ ベースが整備されており、典型的には裁判後 24 時間以内に情報が閲覧可能となる。これは、多くにおい て仮名化がなされていないために可能だと考えられ る（ただし刑事事件では一部の個人情報が除去・編集される ${ }^{\text {iv }) 。 ~}$

多くの国では日本と同様に仮名化の問題が存在す る。近年、その機械処理に取り組んでいる事例もい くつか公開され始めているが、未だどの国において もその仕組みが大規模に実運用されるまでは至って ないようである。

フィンランドでは GDPR（EU 一般データ保護規則） に従うため、統計的手法とルールベース手法を組み 合わせた半自動の個人情報匿名加工システムの開発 が研究機関と法務省により進められている[2]。デン マークからは、法律系出版社による判例の自動匿名加工に関する報告がある[3]。ウルグアイでも、法文書の自動匿名加工に関する検証が報告されている [4]。フランス最高裁判所からは、判例に対する固有表現抽出の精度改善について報告がある[5]。また、匿名加工に直接利用されてはいないが、法領域での 固有表現抽出についてドイツからの報告がある[6,7]。

## 3 日本語判例仮名化の実証実験

当節では 2020 年度に前述の PT で実施した機械処理 による判例仮名化の検証について述べる。

図 1 機械処理の流れ


## 3.1 問題設定

今回の検証では機械処理による仮名化を「1.対象語句の特定」と「2. 語句属性の特定」という 2 つの ステップに分けて処理を行った（図 1）。

1.は、いわゆる固有表現抽出の問題である。この とき、仮名が「漏れた」時にはプライバシーリスク に影響し、逆に仮名「し過ぎた」時には、閲覧者の 利用性や権利一影響する。またこれは単純な分類問題と違い「部分的な誤り（部分的な正解）」もあり える。このようなケースは、例えばもし機械処理後 に人手修正をするのであれば、その生産性へ影響す ることが想定される。これらの観点を踏まえて、単 に「精度 95\%」などというのではなく、適合率・再現率それぞれの値や、完全一致と部分一致での性能 の違いなどを確認していく必要がある。

2.は、関係抽出やエンティティ・リンキング、共参照解析といったタスクと類似したものであり、仮名対象語句ごとに、適切な仮名記号を選択する処理 である。そのとき単に同じ文字列を同じ記号とする のではなく、指し示す実体や、語句の種類を考慮す る必要がある。例えば、同じ「山田」という語句で も、それが同性の別人物であれば別記号を付与する 必要がある。他にも、住所が本籍かそれ以外かによ って仮名化の粒度を区別することもある。これは仮名基準次第であり、今回はある一定の基準をもとに 検証したが、法的要件や利用ニーズによって基準は 変化する。この基準については別途 PT で、法学者 らなどにより議論が進められている。

## 3. 2 データ

今回の検証では、実際の判例原文と、それを人手 により仮名化した文書のペア、計 1,642 件を用意し た。そのらち 100 件ずつを検証セット、評価セット とし、残り 1,442 件（約 15 万行、 1,200 万文字）を モデル学習およびルール作成に利用した。

## 3. 3 手法

予備調查を踏まえ当検証では最終的に、処理ステ ップ 1.にはファインチューンした BERT [8]、2.には ルール処理を用いて仮名化を実施した。

処理ステップ1.について、法文書は一般的な自然言語文書に比べて規則的に書かれていることからま ずはルール記述による処理を試みたが、今回試した
範囲では高い性能には至らなかった。次に $\mathrm{spaCy}^{v}[9]$ による固有表現抽出モデルの学習と検証を行ったが、結果として再現率 $85 \%$, 適合率 $92 \%$ 程度に留まった。加えて spaCy モデルでは言語資源として法律用語一覧（約 1.2 万語）の活用も試みたが、性能への影響 は確認できなかった。これには、そもそも対象判例 データにおいて約 $0.9 \%$ の語のみが該当する法令用語であること、また法律用語自体が仮名対象になる ことはないこと、などが理由として考えられる。

上記の予備検証を経て、最終的に利用したのは次 のようなモデルである。ベースには東北大学による 日本語の事前学習済み BERT (Whole Word Masking) viを用い、それを別途用意した判例文書（仮名後の み) 約 2.5 万件により MaskedLM で 10 万ステップの 継続学習を行った。その後、学習用の判例データに より固有表現抽出モデルをファインチューニングし た。また BERT モデルに加えて、少しの簡単な後処理（当事者セクションのルール解析による原告・被告名の把握、日付や電話番号のパターンによる抽出、 など）も行った。

今回は時間やリソースの都合上、各設定で一つの モデルのみを学習した。異なる初期値から複数のモ デルを学習することによる平均値の確認などをした わけではなく、あくまでも大まかにこの問題設定と 実データでどの程度の性能が達成可能か、どのよう な誤り傾向になるかを確認したのみであることに注意が必要である。

同様に今回は、最高性能の追求を十分に行ったわ けではない。例えば、文字単位ではなく単語単位 BERT の利用や、CRF 層の追加、BERT 以外の言語 モデルの導入などにより、性能向上が達成できる可能性がある。

処理ステップ 2.（語句属性の特定）は、統計的モ デルではなく、基本的にルールベースで実施した。本来、関係抽出や共参照分析といった問題は容易な ものではないが、法律文書においては曖昧な記述は 基本的に無く「山田太郎（以下「山田」という。）」と明示的に述べられているなど、ルールによる処理と相性が良いと言える。今回は具体的な処理として、前述したような明示的記述の利用や、形態素解析器に よる人名フルネームの姓・名への分割、ひらがなや カタカナといった異表記での対応付けなどを行った。
^{v i}$ https://huggingface.co/cl-tohoku/bert-base-japanese-char-whole-word -masking, 簡単の為に文字単位でのモデルを利用
}

## 3. 4 結果

## 表 1 固有表現抽出の性能

処理ステップ 1.（対象語句の特定）の性能を表 1 に示す。のべ仮名箇所数べースで、適合率 $93.4 \%$ (部分正解含め 96.4\%）、再現率 94.5\%（部分正解含め 96.8\%）となった。一方、仮名単語の種類数ベース ではより低い性能となっており（適合率は 5.8 ポイ ント、再現率は 2.7 ポイント低下）、これは出現回数が多い単語における誤りが比較的少ないことを示 している。全体としては約 5 割の判例は修正を全く 必要とせず、必要とする判例でも平均 7 箇所、 3 単語の修正に留まるという結果になった。

## 図 2 学習データ量と固有表現抽出モデル性能

また、学習データ量を減らしたモデルでは、25\% （361 件）程度で最大量（1,442 件）と同程度の性能 に至った（図 2）。単に学習データ量を増加させて も、ここから性能が大幅に向上することは見込めな い可能性が示唆される。この背景には、そもそも法律文書は規則的に記述されていることや、難しい事例は基本的に特殊な固有名詞であって判例データが 増加してもそれらのカバレッジが上がるわけではな いことなどが想定される。

そして1.を完全に正解できた前提では、処理ステ ップ 2.（語句属性の特定）は精度vii98.0\%となった。


## 3. 5 エラー事例

ここでは、どのような誤りの類型があったかの偽事例を示す。これらはあくまで実際の誤り事例を参考にして人為的に作成した疑似的な例であり、実際 の判例文は一切掲載していない。

表 2 固有表現抽出における誤りの疑似例

 \\

処理ステップ 1.（対象語句の特定）での誤り例を 表 2 に示す。人名や企業名に関しては、それが一般名詞ともなり得る場合の誤りが多く見られた。また、 インターネット上でのハンドルネームやスレッド名 は多様に表記され、難易度が高い。住所はスパンが 長くなり、完全な誤りは稀だが部分的な誤りが見ら れた。数値表現は、電話番号などのようにパターン がある程度既知でない場合の誤りが多かった。生年月日は、それが単なる日付表現かどうかは文脈から 汲み取る必要があり誤るケースがあった。

処理ステップ 2.（語句属性の特定）では、以下に 述べる 4 つの誤り類型が確認された。
- 明示的ではない略称：「東京タナ力病院」～「夕 ナ力病院」

-一意に特定できない人名：「田中太郎」「田中二郎」が登場する判例での曖昧性のある「田中」
- 同表記だが区別される名前：「田中が所有する 田中ビル」 $\rightarrow 「$ A が所有する $\underline{B} ヒ ゙ ル 」$
-その他、明示的ではない別表記: ニックネーム （「田中直樹」 $\rightarrow$ 「ナオ」） や（ネットネーム （「田中」 $\rightarrow$ 「tanaka@net」）など

このステップ 2.での誤りは、1.と異なりプライバ シーリスクには影響しない。一方で閲覧者の利便性 には影響しうるが、現在の簡単なルール処理でも 100\%に近い精度が達成できている。そのため、判例 の仮名化においては、ステップ 1.がより難しく重要 な問題だと言える。

## 4 判決オープンデータ化へ向けて

前節で述べた初期検証により、機械処理で 90\%以上の自動仮名化は達成しうることが確認された。

しかし、個人情報への配慮や閲覧者の利便性を考 えると、高性能だから実用可能であるとは必ずしも 言えない。そして機械で処理する限り、ここから性能改善を重ねても 100\%を保証することはできない。 そのため、完全な仮名化には人間のチェックが不可久となるviii

完全な自動化ではなく、機械出力の活用による人間作業の高速化によって大量のデータを処理すると いう方向性が、オープンデータ化へ向けて PT で検討している一案である。そのためには、機械処理の 適合率（仮名過多）を妥協してでも再現率（仮名漏 れ）の誤りを減らすことが有用かもしれない。また、 モデルへの人手修正の適切なフィードバックが効果的かもしれない。加えて、人間が作業しやすいツー ルの開発も非常に重要だと考えられる。

前述した検証結果を踏まえ、我々は判決のオープ ンデータ化へ向けて、機械出力を活用した効果的な 人手修正作業の検証などに引き続き取り組んでいる。

## 5 おわりに

当論文では、民事判決の公開を実現するために必要な仮名化の概要や、各国の状況を解説した。また、 それを固有表現抽出問題の拡張としたとき、実際の 判例文を用いた検証で一定以上の性能（適合率 93. 4\%、再現率 $94.5 \% ）$ が実現可能なことを示した。実際に日本国で民事判決をオープンデータ化する には、人手による機械出力の修正や運用スキーマの 検討など様々な課題があり、その実現へ向けて更な る検証や議論を進めている。
 な修正を必要としない判例公開スキームも検討の余地がある

## 謝辞

当検証の実施にあたって、民事判決オープンデータ 化 PT の構成員にサポートと助言を頂いた。また法律分野での自然言語処理について、名古屋大学の外山勝彦教授、小川泰弘准教授に助言を頂いた。

## 参考文献

1. 民事判決 ネット上で提供 官民で検討、23 年度に も.日本経済新聞，2020 年 6 月 7 日. https://www.nikkei.com/article/DGXMZO60029090V00 C20A6000000.

2. Oksanen, A., Tamper, M., Tuominen, J., Hietanen, A., \& Hyvönen, E. (2019). ANOPPI: A Pseudonymization Service for Finnish Court Documents. JURIX.

3. Povlsen, C., Jongejan, B., Hansen, D.H., \& Simonsen, B.K. (2016). Anonymization of Court Orders. 2016 11th Iberian Conference on Information Systems and Technologies (CISTI), 1-4.

4. Garat, D., \& Wonsever, D. (2019). Towards De-identification of Legal Texts. ArXiv, abs/1910.03739.
5. Barrière, V., \& Fouret, A. (2019). May I Check Again? - A simple but efficient way to generate and use contextual dictionaries for Named Entity Recognition. Application to French Legal Texts. NODALIDA.

6. Leitner, E., Rehm, G., \& Schneider, J.M. (2019).

Fine-Grained Named Entity Recognition in Legal Documents. SEMANTiCS.

7. Leitner, E., Rehm, G., \& Moreno-Schneider, J. (2020).

A Dataset of German Legal Documents for Named Entity Recognition. LREC.

8. Devlin, J., Chang, M., Lee, K., \& Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. ArXiv, abs/1810.04805.

9. Honnibal, M., Montani, I., Van Landeghem, S., \&. Boyd, A. (2020). spaCy: Industrial-strength Natural Language Processing in Python.

10.5281/zenodo. 121230 .
 久本空海城戸祐亮津金澤佳亨僖 株式会社 Legalscape info@legalscape. co. jp  