# [D22] 国立国会図書館デジタル化資料の OCR 全文テキ ストデータの活用可能性：

NDL ラボの実験サービスにおける沖縄関連キーワードの検索結果から

○徳原 直子 1 ), 青池 亨 1 1)

1）国立国会図書館電子情報部，〒100-8924 東京都千代田区永田町 1-10-1

E-mail: lab@ndl.go.jp
## Applicability of OCR full text data of digitized materials held by the National Diet Library:

## From the search results for Okinawa-related keywords in the NDL Lab's experimental services

TOKUHARA Naoko ${ }^{1)}$, AOIKE Toru1)

1) National Diet Library, 1-10-1 Nagata-cho, Chiyoda-ku, Tokyo, 100-8924 Japan

## 【発表概要】

令和 3 年度、国立国会図書館は、二つの OCR 関連事業を外部委託にて実施した。一つは、国立国会図書館が保有するデジタル化資料約 247 万点（2 億 3000 万画像）の OCR によるテキス卜化であり、もう一つはオープンソースで公開可能な OCR 処理プログラムの研究開発である。令和 4 年 3 月から 5 月にかけて、OCR 関連事業の成果物の一部を使った実験サービスを NDL ラボ上で公開した。NDL ラボは、次世代の図書館システムの開発に資する要素技術の実証実験を行うウェブサイトである。令和 4 年 9 月現在、NDL ラボ上の実験サービス「次世代デジタルライブラリー」及び「NDL Ngram Viewer」は、著作権保護期間が満了した図書約 28 万点の全文テキストデータを対象としている。本発表では、OCR 関連事業の概要、実験サービスの特徴を紹介するとともに、沖縄に関連するキーワードを用いた検索結果から、本文テキストデータの地域史研究等への活用可能性を探る。

## 1. はじめに

令和 3 年度、国立国会図書館は、令和 2 年度末時点で国立国会図書館デジタルコレクシヨンに収録されていたデジタル化資料約 247 万点の OCR（光学的文字認識）によるテキス卜化を実施した。また、令和 3 年度以降デジタル化する資料に利用するため、OCR 処理プログラムの研究開発も併せて実施した。筆者が所属する国立国会図書館電子情報部電子情報企画課次世代システム開発研究室（以下「次世代室」）は、先進情報技術を応用した新しい図書館サービスの調査研究を行っており、これらの OCR 関連事業を担当し、また、 その成果物の一部を用いた実験サービスの開発を行っている。

本発表では、二つの OCR 関連事業の概要、 NDL ラボ[1]上の実験サービス「次世代デジタルライブラリー」及び「NDL Ngram Viewer」について紹介した上で、これらの実験サービスの検索結果から本文テキストデー タの地域史研究等への活用可能性を探る。

## 2. 二つの OCR 関連事業

## 2.1 OCR テキスト化に取り組む背景

国立国会図書館は、平成 22 年度頃から視覚障害者等の利用のために全文テキスト化実証実験に取り組んできた。次世代室では、平成 25 年度に市販の OCR ソフトによってテキス卜化したデータを利用した合成音声読み上げによる視覚障害者等向け配信実験を行った。当時、昭和前期以前の資料を多く含むデジタル化資料の OCR の文字認識精度は低く、未校正テキストをそのまま読み上げ用として活用するのはかなり難しいとの結果が実験参加者から示された。一方で、資料の大凡の内容把握を目的とする利用については有用性が認められたことから、平成 26 年度以降は、市販の OCR ソフトを用いたテキスト化の読み取り精度向上のための調査研究を行うと共に、全文検索機能の開発に取り組んできた。

そうした中、平成 30 年の著作権法改正[2] により、AI における機械学習用データとしての活用（30 条の 4）や、所在検索サービスと

しての活用（47 条の 5）が権利処理せずに実施できるようになった。これを受けて、令和元年度には、AI（機械学習）を用いた OCR 精度向上の調査研究や、全文検索に活用するための本文テキスト化事業の本格実施に着手した[3]。平成 31 年 3 月には、NDL ラボ上に、全文検索機能を組み込んだ次世代デジタルライブラリーを公開した。

## 2.2 大規模な OCR 全文テキスト化事業

段階を踏んで進められつつあったデジタル化資料の OCR テキスト化であったが、令和 2 年度補正予算（第 3 号）により外部委託にて、国立国会図書館が保有するデジタル化資料約 247 万点（2 億 3000 万画像）を一度にテキス卜化することとなった。対象資料の内訳は、表 1 のとおりであり、江戸期以前の古典籍資料や録音・映像資料（音声・動画）、英文で書かれた日本占領関係資料等を除く当時デジタル化されていた資料のほぼ全てに当たる。

対象資料の半分近くは、昭和前期以前に刊行された資料であり、これらに対して既存の OCR ソフトやクラウド OCR サービスをそのまま用いた場合、文字認識精度は非常に低い。現代の資料であれば概ね 0.98 以上、すなわち 100 文字あたり 98 文字程度正確に読めるサー ビスであっても、明治期は 0.8 より低く、大正期でも 0.9 を下回ることがわかっていた。 そこで、本事業では、AI（機械学習）等により、既存の OCR 性能を国立国会図書館のデジ
タル化資料に最適化するための改善を行った。改善の結果、明治期で 0.9 を超え、大正期では 0.96 以上を達成した[4]。こうして改善された OCRによりテキストデータが作成された。 また、1960 年代以降の図書については、図表等のキャプション、注釈、見出しといった紙面のレイアウト情報を追加した構造化テキストデータも併せて入手している。

## 2. 3 OCR 処理プログラムの研究開発事業前項で紹介したOCRテキスト化事業は令和 2 年度までにデジタル化済みの資料が対象で ある。国立国会図書館が令和 3 年度以降にデ ジタル化する資料のテキスト化のため、日本語の OCR 処理プログラムそのものの研究開発 も外部委託にて実施した。この事業において も、AI（機械学習）によりモデル開発を行っ ており、学習やカスタマイズが可能な OCR 処理プログラムとなっている。この OCRの文字認識精度は、明治期で 0.91 以上であった [5]。令和 4 年 4 月、GitHub の NDL ラボ公式アカ ウントから、「NDLOCR」と称してオープン ソース（CC BY 4.0）で公開した[6]。利用の ための環境構築に技術スキルを要するが、チ ユートリアル等も提供している。

なお、読み上げ用テキストとして活用するには、NDLOCR の処理機能は未だ不十分である。例えば、行の順番の情報は全文検索では重要でないが、読み上げる場合は必須となる。現在、令和 3 年度補正予算（第 1 号）に

表 1. OCR 全文テキスト化の対象資料

 & 973,000 & $137,728,493$ \\

より、NDLOCR の改善のための研究開発を実施中である。

## 3. NDL ラボの実験サービス

NDL ラボ[1]は、次世代室の研究成果の発表の場であり、新しい図書館システムの開発に資する要素技術の実証実験を行うウェブサイトである。地域研究に役立つツールとして、 2.2 で述べた OCR 全文テキスト化事業の成果物を活用した、NDL ラボ上の二つの実験サー ビスを紹介する。

## 3.1 次世代デジタルライブラリー

次世代デジタルライブラリーは、次世代室が研究開発した各種機能を実験的に提供するサービスである。資料画像から自動抽出した図版（図表、挿絵、写真等）の類似画像検索などの機能もある。

令和 4 年 3 月、全文検索の対象を拡大し、著作権保護期間が満了した図書 28 万点の全文テキストの検索を可能とした。テキストデー タは、ページ単位で範囲指定した箇所だけコピーすることや、資料単位でテキストデータを一括してダウンロードすることも可能である。ルビは文字の大きさによって本文かルビかを判定しており、ぺージ単位でルビの大きさ判定を自分で変更することができる。

図 1 は「西表島」で検索した例である。検索結果には、テキストデータだけでなく、当該資料画像から自動抽出された図版（図表、挿絵、写真等）も表示されている。

図 1 次世代デジタルライブラリー検索結果画面

## 3. 2 NDL Ngram Viewer

全文テキストデータに含まれる単語やフレ ーズを、出版年代ごとに出現頻度で可視化できるようにした実験サービスである。Google Books Ngram Viewer を参考に開発したもので、令和 4 年 5 月に公開した[7]。検索対象の資料は、同年 9 月時点で次世代デジタルライブラリーと同じ範囲、つまり、著作権保護期間が満了した図書 28 万点となっている。

図 2 は「沖縄/琉球」で検索した例である。 1880 年代は琉球（青）の出現頻度の方が高く、徐々に沖縄（赤）の方が高くなっている。検索結果下方には、次世代デジタルライブラリ一の全文検索結果へのリンクを表示している。

NDL Ngram Viewer は、先行する Google のサービスよりも、正規表現を用いた検索の自由度が高いことが特徴である。正規表現とは、複数の文字列を共通のパターンにまとめて簡潔に表記する方法である。例えば、「尚. $\{1,2\}$ 王」で検索すると、「尚」と「王」 の間に 1 以上 2 文字以下の任意の文字が入る単語・フレーズが検索できるため、歴代の琉球国王に関する単語が列挙されると共にその全文検索結果へのリンクを手軽に入手できる。

全文検索においては、検索結果の情報量が多く、探したい資料が埋もれて戸惑う利用者がいると考えられる。NDL Ngram Viewer の正規表現を使った検索では、ある検索キーワ ードに対するヒット件数や検索結果へのリンクを簡単に列挙できるので活用してほしい。

図 2. NDL Ngram Viewer 検索結果画面

## 4. 地域研究における全文テキストデー タの有用性

3. では、二つの実験サービスで沖縄について調べる際の具体例を紹介した。もう一つの切り口として全文テキストが地域研究の資料調査にも有用であることを紹介する。

同じキーワードで、次世代デジタルライブラリーにおいて、本文検索時のヒット件数と、書誌データ（目次含む。）での検索時のヒット件数を比較した。表 2 のとおり、ヒット件数は大きく異なる結果となった。全文検索でヒットした全ての資料が目的の調べものに役立つとは限らないが、地名や人名などで本の中身が検索できることは、圧倒的に地域の情報探索に役立つと言えよう。

表 2. 書誌データと全文検索のヒット件数の比較

 & 本文検索のヒット件数 \\

また、こうした地域の情報を本の中身から探し出すといった研究手法だけが全文テキストデータの活用方法ではない。例えば、文学作品のみ取り出したテキストデータから、沖縄を舞台にした作品を分析する、または、沖縄で出版された資料だけを集めたテキストデ一タをもとに、社会的変化を分析するなど、 デジタル人文学における地域研究にも、全文テキストデータは有用と考える。

## 5. おわりに

NDL ラボの実験サービスでは、OCR テキスト化事業の成果物の一部のみの利用だったが、令和 4 年 12 月にリプレース予定の国立国会図書館デジタルコレクションでは、247 万点の全文検索が可能となる。また、令和 4 年度内には、視覚障害者等の個人及び図書館等に配信する「視覚障害者等用データ送信サー ビス」においても提供を開始する予定である。 テキストデータをより利活用していただけるよう、引き続き、利用者の本の探索行動に役立つ各種機能の開発に取り組んでいきたい。

一方で、国立国会図書館が所蔵しない地域資料、博物資料は少なくないと考元る。地域の図書館、博物館・美術館、文書館等が所蔵する資料のデジタル化に加えて、NDLOCR 等を利用したテキスト化も促進されることで、国立国会図書館デジタル化資料と一緒にそれらの中身検索もできるようになること、また、 データセットとして提供されることでデータ駆動型研究に活用されるなどして、これまで光が当たって来なかった古い資料にも新たな情報価値が生まれていくことに期待している。

## 参考文献

[1] NDL ラボ. https://lab.ndl.go.jp/ (参照 2022-09-22).

[2] 文化庁. 著作権法の一部を改正する法律（平成 30 年法律第 30 号）について.

https://www.bunka.go.jp/seisaku/chosakuken/hoka isei/h30_hokaisei/ (参照 2022-09-22).

[3] 徳原直子. デジタル化資料のテキスト化・本文検索サービスおよび AI（機械学習）を用いたサービス開発〜「柔軟な権利制限規定」の実践例として〜. 情報の科学と技術. 72 巻 3 号. p.88-94. 2022/3.

[4] 国立国会図書館. 1 令和 3 年度デジタル化資料の OCR テキスト化.

https://lab.ndl.go.jp/data_set/ocr/r3_line/

(参照 2022-09-22).

[5] 国立国会図書館. 2 令和 3 年度 OCR 処理プログラ公研究開発.

https://lab.ndl.go.jp/data_set/ocr/r3_morpho/

(参照 2022-09-22).

[6] NDLOCR. https://github.com/ndl-lab/ndlocr_cli (参照 2022-09-22)

[7] 青池亨. NDL Ngram Viewer の公開 : 全文テキストデータ可視化サービス. カレントアウェアネス

E2533. No. 442 2022/9/1

https://current.ndl.go.jp/e2533 (参照 2022-09-22).