# 世界のデジタルアーカイブの動向

時実 象一
Tokizane Soichi
東京大学大学院情報学環
}

デジタルアーカイブの分野は多岐にわたっている。 ここではすべてを網羅することはできないが、自分自身の資源のアーカイブでなく、多数の資源を集めたデ ジタルアーカイブについて最近の動向を紹介すること にする。全般的な動向については拙著を参考とされた い[1]。な打学術文献、学術デー夕の電子化については 割愛した。また、Google Arts \& CultureやYouTubeはデ ジタルアーカイブにおいて無視できない存在である が、今回は触れなかった。
## 1. Europeana

Europeanaについては2015年に国立国会図書館の主催のシンポジウムでNick Poole氏の講演があっだ。また2016年には東京大学大学院情報学環のDNP学術電子コンテンツ研究寄付講座の開設1周年記念シンポジウム「産官学民の連携によるデジタル知識基盤の構築」 において、Harry Verwayen氏が講演している ${ }^{[4]}$ 。

EuropeanaはEuropean Commission (EU)のプロジェクトであり、その運営はEuropeana Foundationによって行われている。Europeana Foundationは主としてECの予算で運営されている財団である。Europeana Foundation の本部はオランダのデン・ハーグの中央駅にあるオランダ国立図書館の中にある。デン・ハーグの本部には約60名の職員がいる。

EuropeanaはGoogle Booksプロジェクトに対する欧州の危機感、特にフランスの危機感から生まれた。 Europeanaについての解説は文献を参照されたいて可[6] 。当時フランス国立図書館長であったジャン・ノエル・ ジャンヌネー（Jean-Noël Jeanneney）氏によれば、ジ、 ンヌネー氏が2005年1月にルモンド紙に「グーグルがヨーロッパに挑むとき」という記事を書いたが、その後フランスのシラク大統領は彼に面会を求め、彼の運動を支援するつもりだと述べたという。その結果が4月 28日にシラク大統領の書簡となったのである（表1）。
Europeana Foundationの年間予算は7000万ユーロ前後である。ほとんどがEU等からの補助金である。 Europeanaは一種のポータルである。デジタル・コンテンツはEU各国にあるコンテンッ・プロバイダが保有しているが、そのメタデータをEuropeanaがアグリゲータ経由で収集し、APIを用いてウェブで公開している。デー夕提供者は2015年7月現在152機関ある ${ }^{[22]}$ 。 こうして集められたメタデータの数の推移は図1のとおりであるがほぼ直線的に伸びている。2017年7月現在のコンテンツ数は5300万件を超える。

## 2. DPLA

「米国デジタル公共図書館（Digital Public Library of America: DPLA)」(http://dp.la）は2013年4月にオープ

表1 Europeanaのデータ提供者の分布

 \\

図1Europeanaのメタデータの伸び

ンした。この時は、サービスハブは8州6機関、コンテンツハブは9機関だったが、2017年には図のように広がった ${ }^{[9]}$ 。現在のコンテンツ数は 2,350 機関からの 16,000,000件以上である。2017年には米国議会図書館もコンテンツハブとして参加することが決まり、契約を締結した。

Europeanaが欧州各国のアーカイブ機関の連合プロジェクトであるとすれば、DPLAは米国各州のアーカイブ機関（主として図書館）と全米規模のアーカイブ機関（LCやHathiTrustなど）（ハブと呼ばれる）の協力プロジェクトである。Europeanaの運転資金が主としてEUから出るのに対し、DPLAの資金は各州の予算および多数の民間および公的な財団の補助金である。 ネットワークの仕組みもEuropeanaと同様で、基本的にはデータベース（クラウド）とAPIから成り立っている。

DPLAはEuropeanaと連携を進めている。まずメ夕データの規格についても、DPLAはEuropeanaが開発してEuropeana Data Model (EDM)を採用している。最近ではEuropeanasと共同で開発したRights Statementsがある ${ }^{[10]}$ DPLAでの実施がすすんでいる。これについては国際的に関心が高まっており、インド、オーストラリア、ニュージーランドなども参加する予定である。

電子書籍のプロジェクトトOpen eBooksはニュー ヨーク公共図書館とFirstBookとの共同プロジェクトで、低所得層の坚童に無料で電子書籍を提供するものである。スローン財団と博物館・図書館サービス機関 (Institute of Museum and Library Services: IMLS) の助成を受けている。現在までに150万アクセスがあった。

DPLA Hubs locations

図2DPLAのハブの分布 ( http://www.coloradovirtuallibrary.org/ digital-colorado/digital-collections-planning-group/updatecolorado-wyoming-dpla-service-hub/)

## 3. 新聞記事デジタルアーカイブ

図書館を中心に膨大な所蔵新聞をデジタル化することにより、文化資源として有効活用したいという要求が高まった。新聞紙はかさばるので、多くの場合マイクロフィルムとして保存される。原紙は破棄されることもある。マイクロフィルムは検索機能もなく、使い勝手が悪いが、これをデジタル化することにより一挙に利用価値が高まる。主な公共的、および商用の新聞記事デジタルアーカイブは表2のとおりである。大英博物館は公共ではあるが、自力でのデジタル化はあきらめ、民間活力に依存する道を取ったので、商用に入れた。Google News Archive Searchはすでに終了したプロジェクトであるが、今でも利用できるので紹介した。

## 3.1 Europeana Newspapers ${ ^{[11]}$}

欧州では、各国ごとに新聞記事のデジタルアーカイブの活動が行われていたが、それぞれ独立した試みであり、アクセス方法もばらばらであった。これらを統合し、新しいツールを開発して使いやすくしようとしたのがEuropeana Newspapersプロジェクトである ${ }^{[14]}$

Europeana Newspapers ${ }^{[1]}$ プロジェクトは欧州委員会の CIP 2007 - 2013プログラムで実施され、その後Best Practice Network in ICT-PSPの3年間のプログラムとして 2015年1月まで実施された。歴史的な欧州12力国の新聞1800万ページをデジタル化、そのうち1000万ぺージはOCRで全文テキスト化された。

現在Europeana NewspapersはEuropeanaとThe European Library (TEL) ${ }^{[4]}$ どちらかでアクセスできるが、後者の方が機能豊富である。

## 3.2 全米デジタル新聞プログラム (National Digital Newspaper Program: NDNP) [12]

全米デジタル新聞プログラム（National Digital Newspaper Program: NDNP）は米国議会図書館（Library of Congress: LC $)^{[3]}$ と全米人文科学基金（National Endowment for the Humanities: NEH）との共同プロジェクトである。NDNPに先立ち、United States Newspaper Program (USNP)(1982-2011)が存在した。これは連邦政府と各州政府の協力のもとに、18世紀から現在までの米国で発行された新聞を収集し、目録を作成し、マイクロフィルムで保存するものである。この事業は NEHの助成とLCの技術により、成功裏に終了した。約6000夕イトルのマイクロフィルム化が行われた。

NDLPは、各州1機関の文化遺産保存機関に対して2 年間の助成を与え、デジタル化すべき新聞を選択し、 デジタル化し、LCに提供するものである。現在までに2000紙、1070万ページがデジタル化された。LCは
表2 世界の新聞記事デジタル・アーカイブ

 &  & 2000 & & $10,700,000$ \\

実際のデジタル化作業はおこなわず、仕様の策定と技術支援を担当した。

デジタル化されたものはChronicling America: Historic American Newspapersとして公開されている ${ }^{[16]}$ Chronicling Americaは全文検索可能である。

## 3.3 民間の新聞デジタル・アーカイブ $[13]$

移民の国米国では、自分の家族のルーツをたどろうという家系調査のニーズが極めて高い。そのための重要な歴史資料が新聞である。米国に無数にある地方新聞の主要な記事は、住民の結婚や死亡の告知である。 そこで家系検索のツールとして新聞のデジタル・アー カイブがビジネスとして成り立っている。表2にあるように、4社もの会社がこのビジネスに参入している。

## 4. Google BooksとHathiTrust

2004年12月、GoogleはGoogle Print Projectを公表した。 ハーバード大学、スタンフォード大学、ミシガン大学、 オックスフォード大学、およびニューヨーク公共図書館と協力し、その蔵書1000万冊以上をスキャン方式で電子化するという計画である。このうちスタンフォー ド大学とミシガン大学については著作権の残存している書籍（米国の著作権法では1923年より前の書籍の著作権はすべて消滅しているので、それ以降の書籍）も電子化するとした。なお2005年11月にはこのプロジェ
クトはGoogle Book Searchと改名されている。

図書館の蔵書の電子化は図書館プロジェクトとよばれるが、その進め方は次のとおりである。図書館は蔵書を提供するだけで電子化はGoogleがすべておこない、その技術の詳細は一切公表されていない。費用はすべてGoogleが負担するが、そのかわりデジタル。 データの権利はすべてGoogleが保有する。図書館にもデジタルコピーを提供するがPDFだけである。わが国では2007年7月に慶応義塾大学図書館がパートナーとなることが発表された。

GoogleのDaniel J Clancyは、2008年にこのプロジェクトの進行状況について述べ、電子化したのは書籍700 万冊としている ${ }^{[17]}$ 。そのうち図書館の蔵書が600万冊、出版社から提供をうけた本が100万冊で、全体のうち 100万冊は著作権が消滅しており、400-500万冊は著作権はあるが絶版であるとしている。また2010年のPC Worldの記事では、GoogleのLeonid Taycherがすでに 1200万冊をスキャンしており（2010年6月現在）、あと 10年以内に、出版されたすべての書籍（約1億2900万冊）すべてを電子化できるだろうと述べているる ${ }^{[18]}$

この計画に対して2005年には米国作家連盟 (Authors Guild) と米国出版社協会 (Association of American Publishers: AAP) 等が相次いで集団訴訟 (Class Action) を起こした。その後の経過については多くの記事があるので[20]、省略するが、2016年4月18日に連邦最高裁

に於いて、作家連盟の上告不受理の決定があり、 Googleのフェアユースを認める形で終結した ${ }^{[21]}$ 。このフェアユースの対象はGoogleが無許諾で書籍をデジタル化し、著作権が有効な書籍についても全文検索を提供し、検索結果としてスニペット（検索結果の短い表示）を表示することができる、というものである。

Google Booksに協力した米国の大学図書館等は、契約により、OCRデータを含む電子データのコピーを入手しているが、個々の大学でその利用システムを開発することは困難なので、協同で利用しょうということになった。その結果HathiTrust (ハチ・トラスト) が2008年10月13日に生まれた ${ }^{[22] 。 ~}$

HathiTrustのホームページでコンテンツの点数を見ると、2014年7月29日現在で11,412,713点のコンテンツがあり、そのうち書籍は $5,888,922$ 点、逐次刊行物が 297,247点である。これを長さにすると135マイル、重さにすると9,273トンとなっている。このうち約35\% の3,978,007点がパブリック・ドメイン、すなわち誰でも自由に読むことができる書籍等である。残りは著作権が残存しているので、その原本を持っている図書館しか閲覧ができない。

## 5. Internet Archive

Internet Archive ${ }^{[23]}$ はBrewster Kahle (ケールと発音する) によって1996年に設立された非営利団体である ${ }^{[24][25]}$ 。 Internet Archiveは数多くのデジタルアーカイブ・プロジェクトを進めているが、そのうちいくつかについて紹介する。

## 5.1 Wayback Machine

Wayback Machineは世界最大、事実上唯一の世界規模のウェブページのアーカイブである。1996年から世界のすべてのWebページの収集を行っている。日本についても、官庁・企業・大学・団体のページだけでなく、個人のページも収集されている。

Netscapeなどにより現在の形のインターネットの利用が立ち上がったとされる1995年の直後に、すでにその保存の必要性に気づく、という先見の明に驚かされる。当時はディスクも高価であったので、最初は 2 か月ごとに収集し、磁気テープに保存しただけであった。 2001年になって5年分たまったとき初めてネットで公開した。

Wayback Machineは世界中のあらゆるウェブページのデータが収集されており、最初はAlexaという会社 （Kahleが創業）からウェブページを集めていたが、今は100以上のクローラにより、収集している。2017年7 月現在、Wayback Machineは2980億ページのコンテンツ
を収録しているとホームページに記載されている。一週間に取得するコンテンツは 10 億件になるが、これは HTMLページだけでなく、画像その他も含んでいる。画像などは複数のページに共通しているため、ページ数に換算するとこの約 $1 / 2$ にる。収集したデータの多くは即日公開されている。

## 日旦旦回血

図32016年7月5日にWayback Machineでwww.donaldjtrump.com を検索したところ、結果に7月4日のページが含まれている。青い円が大きい場合は、1日に何回もクロールしたことを示している。

## 5.2 書籍電子化とOpen Library

Internet Archiveの書籍デジタル化はGoogleより歴史が古く、2002年のMillion Book Projectに遡る。現在約 1000万冊の書籍をInternet Archiveのサイト、または Open Library ${ }^{[26]}$ ササトから提供している。Open Libraryは著作権が生きている本について、原本を所有している図書館の利用者が図書館の貸し出しモデルで利用できるという仕組みである。

書籍電子化については現在10 million books projectが進行中である。さまざまな図書館から廃棄本を寄贈してもらっており、これらがすでに1000万冊に達している。これらは現在 $2 \supset の$ 倉庫に保存しているが、現在そのうち300万冊しかデジタル化していない。これらを中国にあるCADAL (後述) の電子化センター (深圳) でデジタル化している。

## 5.3 テレビニュース

Internet Archiveでは、2012年9月から主要なテレビのニュース番組のアーカイブをおこなっており、放送から24時間経過した番組が保存されているる ${ }^{[27]}$ 。各番組には、法律に基づき聴覚障がい者のための字幕情報 (closed captions) が追加されており、これを利用して全文検索ができる。NHK国際放送も保存されている。

よく知られているように、米国では大統領選挙とその予備選挙に打いてテレビ広告が極めて重要である。
各テレビ局では膨大な量のテレビ広告を放映している。Internet Archiveでは、2014年にテレビの政治広告を収集公開するプロジェクトを開始した。ここでは、 どの局が、どの広告を、どの番組の中で放映したかという詳細なデータを取得しており、これらのデータは Internet Archiveのサイトから無料でダウンロードできる。ジャーナリストにも政治家にも極めて有用なデー タである。

## 5.4 PCゲーム・アーカイブ

Internet Archiveでは、昔のPCゲームやアーケード. ゲームをウェブのエミュレータで動くようにして公開しているる。現在Apple II系ソフトウェア3900件余り、 Atari系6600件余り、(The Software Libary)、MS-DOS系 3400件余り (The Software Library: MS-DOS Games)、 アーケード・ゲーム608件 (Internet Arcade)、など、合計42,000件以上が公開されている。エミュレーターは DosBox (MS-DOS用)、Apple2e (Apple II用)、などがあるが、ブラウザの上で動くので、ブラウザ上でダウンロードするとすぐに遊ぶことができる。スペース・ インベーダー、ロード・ランナー、パックマン、テトリスなど昔夢中になったゲームはたいていここで見つかる。

## 6. CADAL

CADAL (China Academic Digital Associative Library)は中国の書籍電子化プロジェクトである。CADALは 2001年にMillion Book Project (MBP)としてスタートし、 2006年に100万件のデジタル化達成、2009年には150万件達成した。2015年には70の大学・研究機関が参加し、 270 万件以上の書籍を電子化している ${ }^{[291[30]}$ 。筆者は 2015年1月に浙江大学にある本部を訪問してヒアリングをおこなった。

デジタル化については前述のInternet Archiveの協力の元におこなっており、デジタル化の機器はInternet Archiveが開発したScribeを用いている。デジタル化センターは杭州 (紫金港: Zijing Gang) と深圳にあるが、 その他の大学でも設置が広がっている。主に電子化しているのは中文と英文の古い本である。満州鉄道の文書もあるが、それは日本語である。近代の本もある。 そのほか、ビデオや画像も電子化している。

CADALのデー夕は相互協力方式で外部にも提供している。すなわち、CADALデータを利用したい図書館は、自分のデジタル化書籍をCADALに利用提供しなくてはならない。2013年現在、世界504大学等（米国180弱）が購読している。中国文字のOCRも行っているとのことである。

## 7. Wikipediaとデジタルアーカイブ

Wikipediaはそれ自体デジタルアーカイブの機関ではないが、デジタルアーカイブへの関与が進んでいる。

たとえば、WikipeDPLAというGoogle Chromeのプラグインがあるが、これをインストールすると、 Wikipedia（英語版）の検索結果の画面にDPLAのコンテンツへの案内が表示される（図4赤線内）。

Wikidataは、Wikipediaを運営しているWikimedia財団が開発している多言語の典拠データであり、Wikipedia から用語と意味を抽出している。現在2700万件ものリンクト・オープン・データ（RDF）があり、著者名や地名、各種概念が多言語で収録されている（図5）。 EuropeanaやDPLAが注目しており、デジタルアーカイブの多言語検索や検索結果の表示に利用できる。

図5 Wikidataの例

また逆に、Internet ArchiveのWayback Machineが収録しているウェブのデジタルアーカイブは、404エラー の際の代替ページとして使うことができる。すでに Wikipediaの約100万件のページの引用サイトにWayback Machineへのリンクを追加しているる ${ }^{[33]}$

## 8. おわりに

EuropeanaとDPLAのどちらが日本のデジタルアーカイブ・ネットワークのモデルとして適しているかという議論がある。Europeanaはトップダウンで進められ、 DPLAは図書館の草の根で立ち上がったということから、Europeanaがよいという声が多いようである。その通りかもしれないが、日本では、大学図書館や公共図書館など草の根のデジタルアーカイブ活動が活発で

あり、トップダウンではこの活力をどうすくいあげるか明確でない。一層の議論が必要と思われる。

トランプ政権が公的財団を閉鎖する方針を打ち出していることは残念である。閉鎖予定の財団にはデジタルアーカイブに熱心なNEHも含まれており、実現すると、DPLAや新聞記事アーカイブに重大な影響がある。欧州でも英国のEU離脱がEuropeanaにどう影響するか不安が残る。今後の動向に注目したい。

(参考文献)

[1] 時実象一.デジタル・アーカイブの最前線. p.163-164. 講談社. 2015.

［2] 国際シンポジウム「デジタル文化資源の情報基盤を目指して：Europeanaと国立国会図書館サーチ」.http://www.ndl. go.jp/jp/event/events/20150122sympo.html

[3] ジャン・ノエル・ジャンヌネー. 佐々木勉訳・解題. Google との闘い文化の多様性を守るために. 岩波書店. 2007. 166p.

[4] Europeana. Europeana \& Japan Digital Archive Initiative. 2016/11/25. https://www.slideshare.net/hverwayen/2016-nov-28presentation-tokio.

[5] 古山俊介. 動向レビュー：Europeanaの動向：「欧州アイデンティティ」拄よび「創造性」の観点から. カレントアウェアネス. CA1785, 2012/12/20.

[6] 時実象一. 欧州の文化遺産を統合するEuropeana. CA1863. 2015/12/20.

[7] 時実象一. 米国デジタル公共図書館 (Digital Public Library of America: DPLA）. 図書館雑誌. 2013, 107(2), 118-120.

［8] 時実象一. DPLAfest 2015. 情報管理. 2015, 58(4), 313-318.

[9] 時実象一. DPLAfest 2016 参加報告. 情報管理. 2016, 59(7), 485-489.

[10] Rights Statements. http://rightsstatements.org/en/(閲覧. 2017/7/2).

[11]欧州における新聞デジタル・アーカイブ Europeana Newspapers. 情報の科学と技術. 2017, 67(1), 34-37.

[12] 時実象一. 国・オーストラリアにおける新聞記事デジタル・アーカイブ全米新聞デジタル化プログラム (National Digital Newspaper Program: NDNP) とAustralian Newspapers Online - Trove. 情報の科学と技術. 2017, 67(4), 206-210.

[13] 時実象一. 欧米の新聞デジタル・アーカイブ民間の新聞デジタル・アーカイブ. 情報の科学と技術. 2017, 67(7), 383-

[14] Europeana Newspapers - The European Library. http://www. theeuropeanlibrary.org/tel4/newspapers (閲覧. 2017/7/2).

[15] National Digital Newspaper Program. https://www.loc.gov/ndnp/ (閲覧 2017/7/2).
[16] Chronicling America. http://chroniclingamerica.loc.gov/ (閲覧 2017/7/2).

[17] Daniel J. Clancy, Google, quoted by Barbara Quint. http:// newsbreaks.infotoday.com/nbReader.asp?ArticleId=51429（閲覧. 2017/7/2)

[18] Joab Jackson. Google: 129 Million Different Books Have Been Published. Aug 6, 2010. http://www.pcworld.com/article/202803/ google_129_million_different_books_have_been_published.html (閲覧. 2017/7/2).

[19] Challenge to Google Books Is Declined by Supreme Court. New York Times. 2016/4/18.

[20] 鳥澤孝之. Google Book Searchクラスアクション（集合代表訴訟）和解の動向とわが国の著作権制度の課題. カレントアウェアネス. CA1702. 2009/12/20. No. 302.

[21] 松田政行. 全米作家組合等対Google (「Google Books訴訟」) がついに終結 : 連邦最高裁が全米作家組合側の上告申立て不受理を決定[2016.4.18]. NBL. 2016, (1083), 52-62.

[22] 時実象一. 大学図書館書籍アーカイブHathiTrust. 情報管理. 2014, 57(8), 548-561.

[23] Internet Archive. https://archive.org/ (閲覧. 2017/7/2).

[24] 時実象一. 世界の知識の図書館を目指すInternet Archive 創設者Brewster Kahleへのインタビュー. 情報管理. 2009, 52(9), 534-542.

[25]時実象一.デジタル・アーカイブで世界をリードする Internet Archive最近の動向. 情報の科学と技術. 2016,66(9), 490-494.

[26] Open Library. https://openlibrary.org/ (閲覧. 2017/7/2).

[27] TV News Archive. https://archive.org/details/tv (閲覧. 2017/7/2).

[28] The Internet Archive Software Collection. https://archive.org/ details/software(閲覧. 2017/7/2).

[29] Digitization of Academic Libraries in China CADAL Retrospection \& Anticipation. http://docasie.cnrs.fr/Documents/ Presentation/DocAsie2015/DocAsie2015_Xu_Haiyan.pdf ( 閲覧. 2017/7/2).

[30] Digitization of Academic Libraries in China - CADAL Retrospection \& Anticipation. HAL - Inria. 2015/6/25. https:// hal.inria.fr/medihal-01265911/(閲覧. 2017/7/2).

[31] WikipeDPLA. https://chrome.google.com/webstore/detail/ wikipedpla/jeblaajgenlcpcfhmgdhdeehjfbfhmml?hl=en（閲覧. 2017/7/2).

[32] Wikidata. https://www.wikidata.org/wiki/Wikidata:Main_Page (閲覧. 2017/7/2).

[33] More than 1 million formerly broken links in English Wikipedia updated to archived versions from the Wayback Machine. 2016/10/26. https://blog.archive.org/2016/10/26/more-than-1million-formerly-broken-links-in-english-wikipedia-updated-toarchived-versions-from-the-wayback-machine/(閲覧. 2017/7/2).