人間の能力を拡張する「JackIn-JackOut」は、自動車のVR試乗体験をどう変えるのか

2020.07.16

人間を人間または異なる能力を持つ人工物と接続し、人間の能力を拡張する「JackIn」と、体外離脱感覚を提供する「JackOut」。東京大学大学院の暦本教授の研究室では、機械と人間との接続による「Human-Machine JackIn」、人間と人間とを接続する「Human-Human JackIn」と「JackOut」、連続的に両者を行き来できる「JackIn Space」の研究が進められている。そこでイノラボでは、自動車におけるJackIn-JackOut体験の有用性を検証した。結果、これまでの自動車のVR試乗体験を上回る、臨場感のある体験を構築できたという。その検証内容と今後の可能性等について、プロジェクトを担当するUXデザイン ディレクターの澤畑祥太氏に話を伺った。

 

JackIn-JackOutは社会実装できるのか。自動車のVR試乗体験で検証

イノラボでは、東京大学大学院 情報学環の暦本純一教授の研究室とさまざまな共同研究を行っており、今回は人間拡張のテーマから、人間の視覚と意識を拡張できる「JackIn-JackOut（ジャックイン-ジャックアウト）」を選び、その体験の有用性を共同で検証しました。

 

JackInとは、人間を他の人間もしくは人間以外のデバイス（人工物）と接続し、接続先の視界を体験すること。たとえば、遠隔地にいるAさんにBさんがJackInすると、BさんはAさんが見ている景色を一人称視点で見ることができます。

 

一方でJackOutとは、JackInの一人称視点から体外離脱して客観的な三人称視点を体験すること。たとえば、ドローンによる空撮動画や、歩きながら自撮り棒で撮影するスマホの動画などは、JackOutに近い体験といえます。

 

わかりやすい事例として、TVゲームは両方の要素を持っており、プレイヤーがキャラクター視点で操作する一人称視点もあれば、キャラクターの頭上後方から見下ろす形で操作する三人称視点もあり、プレイ中に視点を切り替えられるものもあります。

 

この、人間の視界や行動に自然と出入りするJackIn-JackOutの体験を、リアルの世界で社会実装できないか。――実現させるには、接続される側の人間の体にカメラを装着して撮影しながら、同時に対外の様子を撮影する必要があります。そこで、現実的なファーストステップとして「自動車のVR試乗体験」におけるJackIn-JackOutの有用性を検証しました。

 

具体的には、JackIn用動画として自動車を運転しているドライバーの視界を360度動画で撮影し、運転しているときに耳に入ってくる外部の音も録音。JackOut用動画としてはドローンによる空撮と、後続する別の自動車の高い位置に固定カメラを設置して行う擬似空撮により撮影しました。そして、これらの一人称視点と三人称視点の動画をVRヘッドセットでシームレスに切り替えられるアプリケーションを試作したのです。

 

 

 

結果、JackInだけでなくJackOutも自由に行き来できることで、既存のVR体験よりも臨場感のある体験が実現しただけでなく、実際の試乗では認知できなかった情報も得られるという、価値ある体験創出につながることが確かめられました。

 

一人称と三人称のシームレスな切り替えに難航。今後はリアルタイム性が課題に

今回の検証で苦労した点は3つあり、1つは“VR酔い”をいかにして抑えるかです。撮影した動画の揺れはどこまで許容でき、VRヘッドセットで見たときにどれくらいの視野角なら酔わずに済むのか。それを検証し、解決するためのソフトウェアを暦本教授の研究室の協力を得て導入しました。

 

2つ目は、どのようにして三人称視点を撮影するのか。突飛な手段では実証実験で終わってしまうので、社会実装が実現可能な撮影手段を考える必要があります。今回はドローンを使用できるサーキットで撮影をしたためドローンでの空撮も行いましたが、公道でも応用できるように撮影車を後続させて擬似空撮を実施しました。

 

3つ目は、一人称視点と三人称視点をいかにスムーズに切り替えるのかという点です。パチパチと画面を切り替えるのではシームレスな体験にはなりません。違和感なく連続した体験を実現させるために、どのような視覚効果が最適なのかは何度も議論を重ねました。

 

Jackin

 

Jackout

今回の検証で得られたのは、JackIn-JackOut により自動車の新しいVR試乗体験を構築できるという実感でした。今後のニーズとして顕在化するのは“リアルタイム”なJackIn-JackOutだと考えています。これは自動車の試乗体験に限ったことではありません。

 

リアルタイムなJackInには、通信状況やデータ容量が課題になりますし、JackOut体験もセットで提供したいなら、三人称視点をいかにして撮影するかは課題になる。これらを解消できれば、さまざまな領域でのリアルタイムなJackIn-JackOut体験が実現し、ビジネスのあり方が変わっていくのではないかと考えています。

 

コーチング、スポーツ、エンタメetc。あらゆる領域のビジネスを変える

現在、新型コロナウィルス感染拡大の影響により、自動車メーカーの新車発表会や各種カーイベントが延期または中止に追い込まれています。ワクチンができるまではなかなかイベントを開催できなかったり、足を運べなかったりするでしょうし、今後も別のウイルスが同じように蔓延する可能性もあります。

 

その点からも、今後は自動車を購入するためにディーラーに行って試乗するのではなく、自宅からディーラーの担当者もしくは自動運転の車にJackInするようになれば、手軽な試乗体験が実現できます。さらにJackOutまで可能となれば、今まで見たことがなかった視点も体験できるようになりますし、新時代の自動車の買い方として定着するかもしれません。

 

またJackIn-JackOutは、料理教室やスポーツなど、何かを教える先生と生徒がいるコーチングの領域にも生かせると考えています。たとえば、料理をしている生徒に遠隔地にいる先生がリアルタイムでJackInできれば、生徒の手の動きなどを見ながら的確なアドバイスができるように。さらにJackOutして三人称視点になれば、生徒のキッチンを俯瞰して見られるので教える幅が広がり、生徒は的確なコーチングを得られることになります。

 

スポーツも同じで、先生に生徒がJackIn-JackOutすれば、遠隔にいながら一人称視点と三人称視点を行き来して、細かいフォームを学べます。また、エンターテイメント領域でも、ステージ上で歌っているアーティストにJackIn-JackOutできたら、今まで見たことのなかった世界を体験できるようになるでしょう。

 

ここ1〜2年で、一人称視点のゲームの浸透や、自撮り棒などで撮影した三人称視点の動画の一般化が進んだことで、一人称視点も三人称視点も広く受け入れられるようになりました。さらに、カメラメーカーによる動画撮影時の揺れを防ぐ機能も浸透したことで、VR酔いはある程度避けられるように。こうした背景から今後数年のうちに、さまざまな領域でのVRヘッドセットによるJackIn体験は広まると思います。

 

その上で、イノラボは、今回のプロジェクトからJackInだけでなくJackOutもセットにした両輪での体験に価値があることを実感したため、JackIn-JackOutの社会実装を目指した研究を続けることで、世の中により豊かな体験を提供したいと考えています。