最先端AR技術を活用し、街づくりの一貫として「御殿山さくらまつり2018」へ出展

2020.02.21

2017年に続き、御殿山Tech×Life協議会の取り組みとして御殿山さくらまつり2018へ出展しました。2018年時点で最先端であったデプスセンサー搭載カメラを活用したスクリーン投射ARコンテンツの展示や、Microsoft Hololensを使用し現実に存在しない桜の木を出現させるなど、来場者の皆様に楽しんでいただけるものを意識し、出展をいたしました。

2018年4月6日〜4月8日にかけて、御殿山トラストシティにて開催された『御殿山さくらまつり2018』に、最先端技術を使用した3つのARコンテンツ「体験型インタラクション空間 Interractive AR Theater iArt -さくらの刻-」「ARインタラクション空間 浮世絵さくら道中」「Hololens対応MR体験 Holo射撃 〜SAKURA〜」を出展しました。

 

このイベントは、品川・御殿山エリア周辺の様々な企業・団体が協力し、エリア活性化を推進するため組成された「御殿山エリアマネジメント実行委員会」が主催する初めてのイベントです。森トラスト株式会社、株式会社ソニーコンピュータサイエンス研究所（ソニーCSL）、原美術館や新たに参画した日本マイクロソフトなどと共に、ISIDも同委員会の一員として参加しています。

 

 

デプスセンサ搭載カメラを活用したAR体験の実現

秋のGOTENYAMA ART & Tecnology Weekに続き、御殿山の桜を楽しむイベント「御殿山さくらまつり」への参加を検討するにあたり、どのような技術をどんなふうに楽しんでいただくか？ということをイノラボではディスカッションをしました。

 

これまでイノラボでは、Microsoft社のKinectを活用した体験型インタラクション空間“iArt”を開発し、コンテンツの世界の中にユーザーが入り込んだような体験を実現していました。これは撮影された物体の距離を測ることができるデプスセンサーを搭載したKinectの特性を活かすことで可能となるものです。

 

御殿山さくらまつり2018では、このKinectを活用したiArtに桜の季節を纏わせた新バージョンと、Kinectではない、別のデプスセンサー搭載カメラ「インテル® RealSense™ デプスカメラ」を使用した浮世絵さくら道中を新たに開発しました。本記事では浮世絵さくら道中のご紹介をします。

 

浮世絵さくら道中

新たに開発した浮世絵さくら道中は、カメラの前に立つと、スクリーンに映し出されている桜の花びらと遊ぶことができる展示です。

 

RealSenseで捉えた場面からリアルタイムに人間だけを抜き出し、さらに人間と空間の境界線を判別させることで、スクリーン内の桜の花びらに触れることができ、舞い散る桜の花びらを触るかのような体験をすることができます。

 

桜の花びらはゲームグラフィック用のエンジンを使用し、重力を再現した空間の中に舞い散ります。スクリーンの中に表示されたユーザーが触れたときの、自然な花びらの落ち具合や本当に触ったかのような動きを丁寧に作り込みました。

 

RealSenseから人物を切り出し、スクリーン内へ合成。合成された人物の境界線を判断し、重力を再現した大量の桜の花びらとの自然な触れ合いといった、高度な高速性を求められるコンテンツを、リアルタイムで実現しています。

 

街づくりへの参加と最先端技術を触れるカタチに

イノラボは、街への最先端技術や体験デザインの実装を、テーマの一つとして取り組んでいます。季節をテーマにした最先端技術を活用した展示を通じて、地域の方々に実際に使っていただくことで、本当に求められる街づくりへの探究を進めています。