# [A41］災害発生時の災害$\cdot$防災情報の収集$\cdot$保存$\cdot$整理$\cdot$発信についての研究 : 防災 Web クローラーによる災害情報タイムラ インの自動作成に向けて
○三浦伸也 1), 前田佐知子 1), 池田千春 1)，佐野浩彬 1)，池田真幸 1)
1) 国立研究開発法人 防災科学技術研究所 総合防災情報センター 自然災害情報室，〒 305-0006 茨城県つくば市天王台 3-1

E-mail: miura@bosai.go.jp
## Research on collection, preservation, arrangement and transmission of disaster and disaster prevention information in the event of a disaster: Research and development for automatic creation of disaster information timeline by disaster prevention Web crawler.

MIURA Shinya $^{1)}$, MAEDA S achiko ${ }^{11}$, IKEDA Chiharu ${ }^{1)}$,SANO Hiroaki ${ }^{11}$, IKEDA Masachi ${ }^{11}$ 1) National Research Institute for Earth Science and Disaster Resilience, 3-1, Ten'nohdai、 Tsukuba, Ibaraki, 305-0006, Japan

## 【発表概要】

災害発生時の災害・防災情報は、時々刻々と発信される情報の内容が変化し更新されていく。 そのため、一部にはタイミングを逃すと取得できない情報が出てくる。防災科研では防災・災害情報を発信している各 Web サイトを 4 時間ごとに巡回し、情報を収集・保存・整理・発信するシステムの開発をはじめた。Web サイト情報のアーカイブは、日本国内では国立国会図書館の WARP があるが、収集間隔が発災時に頻繁に更新される災害・防災情報の収集・保存のタイミングと一致しているわけではない。またグローバルにみても、Internet Archive が Web サイト情報を網羅的に収集しているが、ここも頻繁に更新される災害・防災情報の収集・保存のタイミングに対応できておらず、部分的にしか災害・防災情報をアーカイブできていない状況である。

災害発生時の災害・防災情報の収集・保存・整理・発信は、将来的に防災・災害情報を組織横断で統合したタイムラインとして生成することを目的としている。この横断・統合的災害情報夕イムラインは、散逸しがちな防災・災害情報を一元的に俯瞰できることも目的としている。タイムラインの実現にあたっては可能な限りシステムを自動化し、リアルタイムに近い時間で統合した情報を発信できるようにしたいと考えている。

現在、まずは災害・防災情報を自動収集することを目的としたシステムを開発中である。今後、巡回先（現在、139 機関、217 サイト巡回）を増やし、情報の収集漏れをなくすとともに、情報の精度を高め、さらに収集した情報をタイムラインへ自動反映するための研究開発と各 Web サイトの災害・防災情報の発信についての提案を行う予定である。

## 1. はじめに

インターネットの普及に伴い、府省庁や都道府県、地方自治体において Web サイトによる災害情報の発信が行われている。災害発生後に各機関から発信される Web 情報には、夕イミングを逃すと取得できない情報が出る。 このため、発表者が所属する国立研究開発法人防災科学技術研究所（以下、防災科研）では、災害発生時に災害・防災情報の収集・保存・整理・発信を行っている。本発表では、これまで Web サイトの災害・防災情報をどのように収集・整理し、発信してきたのか。また、この収集・整理の取り組みをどのように自動化し、情報を漏孔なく収集し、整理しようとしているのか。現在までの成果と課題、さらには、今後、Web クロー ラーによって収集された災害・防災情報を、可能な限りリアルタイムに近い時間に災害情報タイムラインを自動作成することを目的にした取り組みについて発表する。

## 2. Web 情報のアーカイブの現在

Web 情報のアーカイブとして、米国のインターネット・アーカイブ、日本の WARP、そして本発表でとりあげる防災科学技術研究所の防災 Web クローラーについて概説する。

## 2. 1 Internet Archive(U.S.A.)

Internet Archive は、Brewster Kahle によって 1996 年に設立されたさまざまなデジタル情報をアーカイブしている非営利法人である。 ウェイバック・マシーンというデータベースには、1996 年から現在までの世界中のホームページ等が記録されており、ウェブサイトのアーカイブとして極めて貴重であるが、保存は毎日されているわけではなく、全ての時点でのページが保存されているわけではない。 しかしながら、Internet Archive は、世界のウェブページを自由に網羅的に収集しているのが特徴である。

## 2. 2 WARP(国立国会図書館)

国立国会図書館は、2002 年より WARP：

Web Archiving Project（インターネット資料収集保存事業）で、日本国内のウェブサイトを保存している。このプロジェクトでは、まず政府や公的機関のホームページを許諾を得て収集した。2009 年に著作権法が改正され、国の機関や地方公共団体、国公立大学、特殊法人等のホームページは国会図書館が許諾を得ずに収集できるようになった。しかし、インターネット・アーカイブのように民間のぺ ージまでは収集していない (できない)。

## 2. 3 防災 Web クローラー(NIED)

2017 年度より防災科研で開発を行っている 「防災情報 Web クローラーシステム（以下、防災 Web クローラー)」は、あらかじめ巡回先として設定した災害情報発信機関の Web サイトや RSS などに対して Web スクレイピング等の技術を用い、Web リンク情報のメタデ一夕（「（記事・ページ）タイトル、URL、発信日時」）を自動収集するシステムである。防災 Web クローラーは、災害発生以降の府省庁等の防災情報を 4 時間ごとにクローリングする点にある。詳細については、後述する。

## 3. Web 災害$\cdot$防災情報の収集$\cdot$保存$\cdot$整理$\cdot$発信 一これまでの経緯一

## 3.12018 年度以前 手作業による災害発生時の防災関連情報収集

災害発生後に各機関から発信される Web 情報が一定期間を経た後で消失することが多いため、防災科研では 2014 年頃より災害発生時に発信された災害・防災情報のアーカイブ構想が立ち上がり、Web 災害・防災情報を収集するためのシステム開発が開始された（内山ほか，2016）。

2016 年 4 月の熊本地震を契機に、Web 災害・防災情報のアーカイブを行うシステムがアーカイブを主目的とするのではなく、災害時の情報発信サイトとしての位置づけが強くなった。その後は災害警戒期および災害発生後に、各機関より Web 発信される災害情報を集約する「災害情報集約リンク集」として更新する運用を継続した（佐野ほか，2018）。

2016 年下半期より府省庁系災害情報の収集について、収集対象機関や発信される Web サイトの情報概要、発信形式等をまとめた環境 （クラウド環境版表作成 Web アプリ）を構築し、体系的な情報収集を開始した。2017 年には情報収集シートをべースに、Web サイトの情報を RSS 等により自動的に収集する「防災情報 Web クローラーシステム」の開発に着手した。RSS による自動収集と手作業による収集とを合わせて、各災害対応機関が発信する Web 災害・防災情報の網羅的収集を開始した。 その後、防災情報 Web クローラーで自動的に収集している Web 災害・防荻情報の網羅性について、手作業による収集結果と照らし合わせ、検証が複数回行われた。

2018 年以降は、2017 年より実施してきた手作業での情報検索・収集をもとに、防災情報 Web クローラーで収集する Web 災害・防災情報を組織単位で広範化するため、情報の自動収集および選別を行うために使用するキ ーワード等の設定について、検証を行い、機能改良を実施してきた。

## 3.22019 年度 防災 Web クローラーによる 情報収集-保存

2017 年度より防災科研で開発を行った「防災情報 Web クローラーシステム」は、あらかじめ巡回先として設定した災害情報発信機関の Web サイトや RSS などに対して Web スクレイピング等の技術を用い、Web リンク情報のメタデータ（「（記事・ページ）タイトル、

URL、発信日時」）を自動収集するシステムである。

収集されたタイトル情報に、特定のキーワー ドを持つものに対して自動的にタグを付与することで Web 災害・防災情報のグループ化を行い、個別の災害・防災関連記事のみを抽出できる機能を有している。これらの収集メタデータを活用することで、例えば「気象庁から、2019 年 10 月 1 日 10 月 25 日に発信された、台風 15 号関連情報」のように、「発信機関 + 発信日時（期間指定も可） + 関連記事」を組み合わせた情報の抽出表示が可能となる。現在、「防災Webクローラー」の巡回先は 140 機関、218 サイトである (2020 年 1 月 16 日時点)。登録された巡回先のサイト等を 24 時間毎に巡回し、災害・防災情報の収集を定常的に行っているが、災害発生時には、災害対応機関により頻繁に Web サイトの更新が行われることから、巡回のタイミングを任意に設定できる機能を「防災 Web クローラー」に付置して、4 時間毎に自動収集が行われるよう設定を変更している。

2019 年度は山形県沖の地震 (6 月)、令和元年 8 月下旬の九州北部における大雨 (8 月)、台風 15 号・19 号 (9月～) 等の実災害で、「防災 Web クローラー」を用いてリンク集の更新を行い、標準作業手順（SOP）の構築に取り組んだ（表 1）。また、台風 19 号の災害・防災情報については、標準作業手順書に基づいて作業を委託することで、SOP の検証とフィ ードバックを行った（図1）。

## 作業内容

 \\

表 1. 防災 Web クローラーを併用したリンク集更新の標準作業手順

なお、2019 年梅雨期・台風期クライシスレスポンスサイトの災害・防災情報においては、平時から情報が発信されているサイトを「【備え】台風に備えるための基礎知識」や「【参考】過去の風水害・台風災害情報」としてあらかじめ第 1 報を作成しておき、災害発生時に発信される情報をもとに災害・防災情報の更新作業を行った。

図 1 は 2019 年 7 月 3 日〜12 月 20 日（最終更新日）において更新した 4 つの災害・防災情報に関して、災害・防災情報の取得方法を示したものである。梅雨期・台風期クライシスレスポンスサイトのリンク集は防災 Web クローラーと手動による取得方法はおよそ半分ずつとなっているが、その後のリンク集は防災 Web クローラーによって収集された災害・防災情報の数が優位となっている。その詳細についてはさらなる分析が必要であるが、対
象となる災害名称等（例：台風 15 号など）が明確になるほど、防災 Web クローラーによる情報収集がキーワードやタグの設定によって精度が高くなり、手動による災害・防災情報の追加が少なくなる傾向が見られた。

図 1. Web 災害・防災情報の取得方法内訳（各最新報,2019/12/20 までの件数）

## 4. 現状の課題と今後の展望 一災害情報 を活用したタイムライン作成に向けて一

ここまでみてきたように、災害発生後に各機関から発信される災害情報を、RSS などを活用して自動的に情報を巡回収集・取得する Web クローラーを開発して更新・アーカイブ作業を進め、手動で行っていた作業を極力自動化し、スピーディーに収集可能とした。この間の更新手順を実災害での実践を通じて、標準作業手順書を作成し、過去最大の台風情報となった台風 19 号において、作成した手順書を元に収集を行い、その有効性を確認した。 また、この台風 19 号における実践において、 (1) 自動収集された情報の精度・深度については手動での確認および判断が必要であること、 (2)各機関により情報の発信形式が異なるため、 Web クローラーの設定が困難な場合があることが課題となった。

今後、収集した情報をタイムラインへ自動反映するための研究開発を行い、総合的な災害情報タイムラインとして発信していきたいと考えている。また、そのために必要な自治体のウェブサイトにおける災害情報発信につ
いての書式などのルールについても提案する予定である。現在、収集・整理している Web 情報だけでなく、テレビや新聞の災害情報も含む災害情報タイムライン（図 2）をできるだけリアルタイムに近いタイミングで発信することを目指している。

図 2. 災害情報タイムライン例

## 参考文献

[1]時実象一（2015），『デジタル・アーカイブの最前線知識・文化・感性を消滅させないために』,講談社ブルーバックス

[2]国立国会図書館，国立国会図書館インター ネット資料収集保存事業（WARP）について， https://warp.da.ndl.go.jp/info/WARP_Intro.h tml (2020.2.25 閲覧)

[3] 内山庄一郎, 堀田弥生, 折中新, 半田信之, 田口仁，鈴木比奈子，臼田裕一郎，「災害時における情報の統合と発信一防災科研クライシスレスポンス Web サイトの取り組み一」, 2016 年度日本地理学会春季学術大会発表要旨集, 2016, P017, https://doi.org/10.14866/ajg.2016s.0_100231 [4]佐野浩彬ほか（2018）。「2017 年度防災科研クライシスレスポンスサイト（NIEDCRS）の構築と運用, 防災科学技術研究所研究資料 422 号 http://dilopac.bosai.go.jp/publication/nied_tech_note/ pdf/n422.pdf（2020.02.19 閲覧）

[5]防災科学技術研究所総合防災情報センタ一，防災科研クライシスレスポンスサイト

（NIED-CRS）ポータル， http://crs.bosai.go.jp/（2020.02.20 閲覧）

この記事の著作権は著者に属します。この記事は Creative Commons 4.0 に基づきライセンスされます(http://creativecommons.org/licenses/by/4.0/)。出典を表示することを主な条件とし、複製、改変はもちろん、営利目的での二次利用も許可されています。