# [23] RGB-D カメラシステムを用いた展示会場の 3D 記録と 活用

○中川源洋 1)，中嶋謙一 1)，平野和弘 1)

1) 株式会社ニコン次世代プロジェクト本部第 3 開発部， $\bar{\top} 108-6290$ 東京都港区港南 2-15-3 品川 インターシティ C 棟

E-mail: Yoshihiro.Nakagawa@nikon.com
## Three-dimensional data recording and utilization of the exhibition using RGB-D camera system

NAKAGAWA Yoshihiro ${ }^{1}$, NAKAJIMA Kenichi' ${ }^{1)}$, HIRANO Kazuhiro ${ }^{1)}$

1) NIKON CORPORATION, Shinagawa Intercity Tower C, 2-15-3, Konan Minato-ku, Tokyo 108-6290

## 【発表概要】

RGB-Depth(深度)カメラシステムは、カラー情報とカメラからの距離情報を同時に取得する技術である。本システムを用いれば、舞踊などの無形文化財や美術展の空間そのものを 3 次元デー タとして記録することができる。

従来技術では、再現できる鑑賞視点に制限があったり、立体物の表示に制限があるといった課題があった。本技術は、少ない視点から撮影しそのデータをツールに入力することだけで 3 次元データを作成するものである。取得した $3 \mathrm{D}$ データは自由視点で映像再現するので、実際の展覧会場で作品鑑賞に近い体験の提供が可能となる。また取得デー夕は空間のもつ情報をすべて包含していることから、作品そのものの映像情報だけではなく、作品の展示順番や作品同士の距離など情報を含み、展覧会場のアーカイブに適している。

本発表では、山形ビエンナーレ 2020 での展覧会場の 3 次元データ化実験事例を中心に 3 次元データの活用可能性に関して報告する。

## 1. はじめに

美術展などは作品を実際に鑑賞できる貴重な場であったが、感染症等の影響で展覧会が中止になってしまうと鑑賞の機会が減少する。 バーチャル開催での補完が実施されているが、観客が見たい方向から鑑賞できないなど多くの課題があつた

近年は展覧会の記録に $360^{\circ}$ カメラを用いた広角画像[1]を用いられるようになっている。 $360^{\circ}$ カメラで取得した画像は、撮影場所から視線の方向を自由に選べる。また、複数台の $360^{\circ}$ カメラのデータを統合し、ウォークスル一映像を作成寸る技術[2]が提案されている。本手法により 2 点の撮影場所の間をウォークスルーするように移動ができるようになる。 しかしながらいずれも鑑賞地点に制限があり、 また空間を球体や平面に投影しているため、立体物の再現はできない。

そこで 3 次元空間のデータ化も可能な RGBD カメラシステムを用いた空間のモデリング技術の活用を提案する。本技術は空間を 3 次元的するもので、任意の視点での映像を再構築でき、実際の展覧会場に近い鑑賞体験の提供が可能である。データ取得においても、撮影行為は一般的なデジタルカメラでの撮影と類似しており専門的な知識を必要とせず、少ない視点からの撮影で大規模な空間の 3 次元データを取得できる。

## 2. RGB-D システムを用いた記録

## 2. 1 山形ビエンナーレ 2020

山形ビエンナーレは東北芸術工科大学が主催の現代美術の芸術祭で、2014 年から隔年で開催され、2020 年 9 月に第 4 回を迎えた。本来であれば文翔館などを会場に実際に作品を展示し公開する予定であったが、COVID-19 の影響でオンライン開催 $[3,4]$ に変更となった。 しかし、単にオンラインで開催するのではなく、芸工大のギャラリーに通常の展覧会と同じように作品を並べる形態をとっている。オンラインではあるものの、実体がそこにあるという状況を作り上げることを意図している。本実験は山形ビエンナーレに協力を受け、展
覧会場を 3 次元記録したものである。

図 1 山形ビエンナーレ展覧会場写真

## 2. 2 RGB-D カメラシステム

RGB-Depth(深度)カメラシステムは、カラ一情報とカメラからの距離情報を同時に取得する技術である。本システムを用いれば、舞踊などの無形文化財[5]や美術展の空間そのものを 3 次元データとして記録することができる。図 2 に RGB-D システムで取得されたデー タの例を示す。図 2(a)は取得システムからの距離情報を色相(赤; 近距離)のヒートマップとして表現したデプスマップ、(b)は RGB 画像である。撮影地点からの対象の形状と色彩の情報が取得できるので、視野内の空間の 3 次元化が可能となる。

## 2. 3 RGB-D システムを用いた会場モデリング前節で説明したRGB-Dカメラシステムを用 いた展示空間のモデリング結果を示す。本実験は、山形ビエンナーレの作品展示中の東北芸術工科大学 7 階ギャラリーTHE TOP で実施した。図 3 に示したような 10 視点から撮影
を実施した。撮影に際し三脚等を用いることなく手持ち撮影によって実施しており、撮影自体に要した実質的時間は 10 分程度で、専門的技術も不要である。図 4 に空間のモデリング結果を示す。会場の壁面や作品の配置状況などが確認できる。展覧会企画者自らのデー 夕化が可能になるため、数多くの展覧会ア一カイブが生成されることを期待している。

（a）デブスマップ

（b）RGB 画像

図 2 RGB-D システム取得データ例

図 3 データ取得視点

図 4 会場モデリング結果

## 2. 4 RGB-D システムを用いた立体物モデリン グ

また立体像など複雑な形状を持つ対象に関しては、空間取得とは別にデータを取得した。対象との距離を近づけることで、分解能を高めたり、計測誤差の低減による高精度化が可能である。また表面に模様があるような被写体の場合などは、RGB-D システムを用いずに複数の RGB 画像からデータを取得するフォトグラメタリを用いてもよい。図 5、6 にそれぞれに手法で取得したモデルの例を示す。

## 3. バーチャルミュージアム

前章で説明した空間データと作品データを統合し、展覧会空間を仮想的に再現した結果を図 7 に示す。絵画や写真などの形状の単純な作品に関しては、テクスチャを高精細なデジタルカメラで取得した画像をテクスチャとして用いてており、再現性を向上させている。図 7 が示すように、本データを用いれば自由視点で鑑賞ができるので、実際の展覧会場での鑑賞体験に近づけるとこができる。

従来の記録では複数方向からの写真や代表的なサイズといった記録を取りまとめてアー カイブする必要があったが、本技術を用いれば一つのデータの中に情報が包含されているため管理が簡単になる。また作品の配置など記録が漏れがちな情報も残すことができるので、展覧会のアーカイブ手法として適していると考えている。

図 5 RGB-D システムを用いたモデル

図 6 フォトグラメタリを用いたモデル

図 7 仮想展覧会場
我々は本美術展に際し、無形民俗芸能やその関連施設なども記録している。その対象の性質から、展覧会場への設置は困難であるが、仮想空間内であれば、併設が容易にできる。図 8 は展覧会場に波除地蔵を仮想的に設置した例である。山形ビエンナーレは隔年で開催されるものであり、次回開催も計画されている。その際本データなどを活用し展示することで、直接鑑賞できなかった 2020 年の美術展を感じ、より深い鑑賞体験に繋げられるのではないだろうか。このように新しいデジタルアーカイブの活用事例になると考えている。

（a）共同墓地に仮設置された波除地蔵

（b）展覧空間に仮想的に地蔵を合成した例図 8 仮想合成結果

## 4. おわりに

本報告では RGB-Dカメラシステムを用いた美術展の展示空間のデジタル化技術とその実証実験を示した。本手法を用いれば専門知識不要で、展示作品、作品の配置情報を含んだ展示空間のアーカイビングが可能である。またアーカイブデータにより自由視点のバーチヤルミュージアムなどへも活用もできる。

今後は $3 \mathrm{D}$ データに作品データをメタデータとして取り込んだり、本技術の実利用展開を推進させていく予定である。

本実験に当たり多大なるご協力をいただいた山形ビエンナーレのキュレーターの三瀬夏之介氏、宮本晶朗氏をはじめとしたビエンナ ーレ関係者に感謝いたします。

## 参考文献

[1] 林知代. 梶原麻世. 360 度パノラマ画像を用いた書道展のデジタルアーカイブ化. デジタルアーカイブ学会誌. 2020, vol4, No. S1, p. s57s60.

[2] 田中美苗. 河合直樹. 近藤孝夫. $360^{\circ}$ ビュ一モーフィング : 2 枚のパノラマ写真によるウォークスルー可能な空間のアーカイブ. デジタルアーカイブ学会誌. 2020, vol4, No. S1, p. s61-s64.

[3] みちのおくの芸術祭山形ビエンナーレ.

https://biennale.tuad.ac.jp/

(参照 2020-02-26).

[4] 現代山形考藻が湖伝説.

https://yamagatako.jp/mogaumi/

(参照 2020-02-26).

[5] 江添誠. 豊田浩志. 海外博物館彫像資料の 3 次元デジタルアーカイブ化の試み : イタリア共和国オスティア・アンティカ遺跡博物館での取り組みを事例として. デジタルアーカイブ学会誌. 2020, vol4, No. S1, p. s53-s56.

この記事の著作権は著者に属します。この記事は Creative Commons 4.0 に基づきライセンスされます(http://creativecommons.org/licenses/by/4.0/)。出典を表示することを主な条件とし、複製、改変はもちろん、営利目的での二次利用も許可されています。