イノラボではこれまでにVRやAR（Augmented Reality：拡張現実）の研究を進める中で、VR空間の中で複雑な手や体の動きが伴う動作を伝えあうことができないか議論を進めていました。
「全身トラッキング型VR遠隔コミュニケーションシステム」は全身の動き、特に体の関節点と手の動きをトラッキングし、VR空間に再現するシステムです。VR空間には2名分のトラッキング情報を同一の仮想空間に反映可能で、体験者はVR空間内に自分を含め2人の人間が入り込み、体の動きを伝え合うようなコミュニケーションができます。
本システム開発は、東京大学の暦本研究室、また、幻肢痛という疼痛のセラピーをVRで行う株式会社KIDSの猪俣さんと連携して進めました。猪俣さんからは幻肢痛のセラピーをVR空間で行うためのノウハウを教示いただきながら、VR空間において遠隔で技能伝達やコミュニケーションを行うシステムのプロトタイプ開発を進めました。
VR空間でのコミュニケーションや体の動きの伝達が、スポーツや伝統芸能といった技能の伝達や、幻肢痛といった緩和ケアの課題や患者ニーズにこれからどう貢献できるのか、非接触・非対面コミュニケーションが価値を持つ今、イノラボに求められる役割について、岡田敦氏に聞きました。
岡田 敦
空間テクノロジスト
これからのVR・AR活用。ニューノーマルにおいて求められる新たな価値の探究
イノラボではこれまでに水中でVRを体験するAquaCAVE、AR技術を融合した体験型システム「なりきりアート」を開発するなど、VR/ARに関する研究開発を進めてきました。近年、VRで用いられるヘッドセットの性能が向上し、パソコンとHMD（ヘッドマウとディスプレイ）を太いケーブルでつなげなくてもVRを体験できるものも登場しています。またAR技術の活用も進んでいます。スマートフォンの地図アプリケーションで誘導情報を実世界に重ねて表示するものや、アパレル業界では試着で利用されるものなどがあり、実際にVRやARが私達の身近な店舗で活用されている事例も多くなってきました。
このようにVRやARの技術が進化し身の回りに浸透する中、新型コロナウィルスの感染拡大によりニューノーマルという概念が登場し、非接触・非対面の価値が改めて問われています。
イノラボでは様々な可能性を追求する中で、例えばヨガや体操などの動きをVRの中で学ぶことができないか、という検討もしてきました。ヨガは、先生の動きを見ながら同じ動作をすることが多いですが、先生と同じ動きをしているつもりでも、実際は全然違う動きをしていることもあります。そんな自分自身の動きをVR空間の中で俯瞰して見ることができれば、新しい発見が得られるかもしれない、と考えました。さらには、上手い人の動きをVR空間で何度も再生し、自分の動きを比べたり合わせて動くことで、これまでにない効率の良い訓練ができるのでは、そのような議論をしてきました。VRは、仮想的な空間の中で物理特性や視点を自在にコントロールすることで、これまでにない視点で現実世界や自分自身の動作を捉えられるようになります。更にこれからの新しい生活様式の中で必要な、三密の回避や遠く離れた環境でのコミュニケーションも可能となり、新たな動きの伝達や習得を実現させることが可能と考えています。
VRで物理的な距離を超えて動作指示が伝わりやすくなり、教える側、伝えられる側の理解が促進
イノラボでVRによる技能伝達のプロトタイプ開発を進める中で、幻肢痛のVRシステムでセラピーを行う株式会社KIDSの猪俣さんと出会います。四肢切断患者の多くに現れるとされている「幻肢痛」は、交通事故や病気などで後天的に大人になってから四肢を切断もしくは神経を損傷した患者さんに現れる症状です。手腕や足の切断、感覚を失ったにもかかわらず今まで通り手足が存在（幻肢）するように感じられ、その幻肢が激しく痛む感覚を覚える症状です。とくに腕を失った場合に出やすいとされ、多くの患者さんが、実際はない四肢の痛みに苦しんでいます。
幻肢痛の治療法は、健側（動く方の腕や足）を鏡に映し、動かすことでした。鏡越しに残存肢と幻肢を重ね合わせることで、自分の腕を両方動かしているという錯覚を与える一般的な療法です。ただ、人によって腕がある場所の感じ方が異なるため、鏡では対応が難しいケースもあり十分な効果が得られず限界がありました。
そこで、猪俣さんが開発したのが、VRを活用した治療システムです。健側の肩・肘・手首・5本の指をセンシングしリアルタイムで計測して、鏡では不可能だった患者が感じる幻肢の位置に正確に出力するシステムです。患者さんは頭部装着型ディスプレイ（ヘッドマウントディスプレイ）を装着し、VR空間であたかも幻肢が蘇ったかのように体感することができます。VR空間内で主観目線さらに鏡越し目線で動きを確認し「正しく動かせている」という感覚を得ることで、痛みを和らげる仕組みです。猪俣さんはこのVRリハビリシステムを使って多くの方の痛みの緩和に取り組まれています。
VRを活用したセラピーシステムイメージ
VRを用いたリハビリシステムにより緩和ケアの新たな形が世に浸透し始める中で、幻肢痛VRケアにも課題があります。その１つとして、セラピストは東京に多いのに対し、セラピーを必要とする人は日本各地にいます。実際にセラピーを受けるためには、セラピストとシステムがある場所に行かねばなりません。
この課題について、患者さんのVR空間にセラピストも入り込み、VR空間内で実際に行われるセラピーに近いことができれば、距離が離れている患者さんに対しても、ある一定レベルのセラピーを提供することができるのではないか。イノラボはこの仮説を確認すべく、東京大学の暦本研究室と連携しながら課題解決にむけたプロトタイプ構築を進めました。
イノラボが注力したのは、現実空間ではできないアクションを仮想空間に取り入れた、効果的なセラピーの実現という点でした。
猪俣さんのVRシステムを活用したセラピーは、セラピストがヘッドマウントディスプレイを装着した患者さんの横に立ち、VR空間の映像をモニターで見ながら、動作指示を言語で伝える形態で実施しています。その際、患者さんはセラピストが見えていない為、セラピストの動作指示は、「肘を90度に曲げて」「右手首を内側に旋回させてから手前に引いて」など、口頭で言われたものを理解し実際に動かすという必要があります。細かな動作の伝達には、セラピーを行う側も受ける側も意思を伝え合うために専門用語を理解してリハビリ自体の経験を積む必要がありました。
それに対し、セラピストも同じVR空間に入れたら、自分の手を動かしながら「ここをこう曲げて」と指示語で伝えられるようになります。遠隔リハビリも可能になるため、距離の制約がなく幻肢痛セラピーを進めることも可能になるでしょう。もともと、幻肢痛患者さんは地方に多く、セラピストの数が追い付いていないという課題がありました。都内在住のセラピストが地方の複数の患者さんを対象に、VR空間で定期的に治療ができるようになれば、幻肢痛セラピーで長く課題となっていた地域格差も、解消することができるかもしれません。
VRでセラピストの動作指示が伝わりやすくなり、遠隔リハビリにつながる
「全身トラッキング型遠隔VRコミュニケーションシステム」は、AzureKinectという深度カメラを搭載したデバイスと、LEAPMotionというハンドトラッキングをするデバイスを用いて、手と関節点をトラッキングしたのち、その情報をインターネットに送りVR空間に動作を再現させていくものです。ことなる地点でこのシステムを立ち上げることで、VR空間でコミュニケーションができます。（下図）
実装実験の機器構成と体験の概念図
セラピストと患者さんは同じVR空間内でコミュニケーションをとれるため、位置関係に縛られず相手に動作を伝えられるようになります。お互いの全身を確認できる程度の距離からハイタッチできるほどの近距離、さらには二人羽織りといった位置関係で体を重ねて動きを真似るなど、仮想空間では現実空間では実現できない人間の位置関係を実現可能です。
また、口頭では難しかった動きの指示も、「こう動かして」など、実際の動きをVRでセラピストが見せて指導することができ、指導がしやすい面があると想像されます。実際に幻肢痛の患者の方にプロトタイプを使った実験を行ったところ、遠隔でも十分にリハビリやコミュニケーションが可能であることがアンケートによって示唆されました。
イノラボと東大ではこのノウハウを論文にまとめ、国際学会での発表を行ないました。イノラボではこのシステムを発展させ、実際に多様な領域で利用ができるよう、プロトタイプの高度化を進めています。
患者役（a）とセラピスト役（b）で行った実験のVR空間の見え方（c）
技能伝達も可能にする、VRによる遠隔セラピーのこれから
物理的な距離に縛られず「人と接することなく治療できる」価値は、2020年に入り急速に高まっています。セラピストの数も限られている中、遠隔で実現できるセラピーのニーズは高まっていくでしょう。
遠隔でリハビリレベルの細かな動きを正確に伝え合うことができれば、医療領域にかかわらず、あらゆる技能伝達サービスに活用できる可能性があります。例えば、遠隔にいる祖父母が、VR空間でお孫さんにあやとりを教えるなど、細かな動きの伝達が可能になる日も遠くないと考えます。
海外に開発拠点を持つ日本のメーカーの技術者が、海外のメンバーに技術を伝えることもできるでしょう。コロナの影響で、海外旅行や出張のあり方が一変する今後の社会では、移動時間や出張費用などのコストや、感染リスクを抑えたりしながら、技能伝達が実現できるようになります。非接触、非対面という価値が生きる現場への適用をすすめたいと考えています。
現在のシステム構成では、ノートパソコンやヘッドマウントディスプレイを用いるため、ある程度の広さや外光の影響を受けにくい環境などを準備する必要がありますが、最終的には、自宅でスマートフォンがあれば実現できる世界を作りたいと思っています。小型化・簡易化をさせながらも体験の臨場感を失わないようにし、また、場所の制約を超える技能伝達のあり方については、今後も向き合いたい課題です。
研究開発の先で、イノラボが目指すのは「体験デザインによる価値提供」です。まだ課題はたくさん残されていますが、このシステムを使えば幻肢痛を遠隔でケアできるようになった。複数でやってみたら楽しく気軽にセラピーができるようになった。患者同士が自主的に集まってやってみた――。未来にそのようなVR空間でコミュニティを形成するためには何が必要か。VR空間内で人と人がどう関わるか、現実空間とVR空間の違いや特徴をよく考察しながら、実装と評価を繰り返し、デザインしていくことが大切であると考えます。
例えばVR空間で、みんなでやれるゲームをやっていたらいつのまにか幻肢痛の痛みを感じなくなった。またセラピーの動作をやっていたと思ったら、いつの間にか陶芸作品が完成して数週間後に各自宅に届く。そんな形の体験のあり方も出てくるかもしれません。VRやARの活用により、これまでになかったコミュニケーションや体験デザインにまで踏み込んでいくことが、イノラボの存在意義なのではないかと思っています。
イノラボでは今後もVRやAR技術を活用し、離れていても体の細かな動作を伝え合うことで、例えばお互いを高めあったり、楽しみを生み出したりできる、そのような体験を構築するための技術を積み重ねていきます。このような取り組みに賛同してくださり、一緒に議論・検討できる方々とアライアンスを組みながら、よりよいものを作っていきたいと考えておりますので、お気軽にお問い合わせいただければ幸いです。
お問い合わせ
お問い合わせは以下よりお願いします。
