イノラボの「スポーツ＆ライフテクノロジーラボ」は、センシング技術やウェアラブルデバイスを駆使し、一般の人も広くスポーツを楽しめるプラットフォームの開発を目指してきました。そのプロジェクトの一つが、身体の動きをリアルタイムで3Dデータ解析できるスポーツセンシング技術「Running Gate」の開発です。従来のように、人体に特殊なマーカーなどを装着しなくても、複数のセンサーが設置されたエリア内を通り抜けるだけで動きの特徴を解析することができます。本プロジェクトを手掛けた森田浩史氏に、開発の背景や、今後の技術活用の可能性を聞きました。
森田 浩史
チーフプロデューサー
リアルタイムの３Dデータ解析で、スポーツの楽しみ方を変えていく
我々は「スポーツ＆ライフテクノロジーラボ」を2013年に発足。それまで、スポーツ領域で最先端技術の活用といえば、トップアスリート向けのバイオメカトロニクス（生体力学）が一般的でした。一方、イノラボは、利用者が幅広く見込める、日常的にスポーツを楽しむ生活者に「身体を動かすって面白い」と発見があるような技術開発を目指しました。「スポーツラボ」ではなく「スポーツ＆ライフテクノロジーラボ」としたのは、そんな思いからです。
イノラボのシニアフェローを務める暦本純一氏（東京大学大学院教授兼ソニーコンピュータサイエンス研究所副所長）のもと、当時から注目していたのは「環境側センシング」です。スポーツ領域、あるいは映画・映像撮影において、人にモーションキャプチャーを装着し動きを３Dデータ解析する技術は目新しいものではありません。しかし、非アスリートの生活者にとって、撮影のためにセンサーを体中につけるのは非日常になります。非接触のセンシング技術を活用することで、一般の皆さんが広く使えるものへと形を変えていきたい。それが「Running Gate」開発の起点となりました。
「Running Gate」は、複数のセンサーが設置されたエリア内を人が通り抜けるだけで、身体の動きを３Dデータ化、解析できる環境センシングシステムです。センサーにはKinect v2（Microsoft社製）を採用。このKinectを複数設置し、同期させ、３Dで合成することで、人が何を装着しなくても、3次元的にフォームを記録できます。自分の３Dランニングフォームを360度どこからでも確認できることで、「重心が右に乗りがち」「腕が全然振れていない」など、自分を第三者視点から見つめ直し、思わぬクセに気づくことも期待できます。
赤外線を遮断するため、黒いテント内に設置されたKinect v2
「これからは、人がセンサーを装着するのではなく、環境側でセンシングできる時代がくる」繰り返しになりますが、これは、ラボの発足当初から持っていた思いです。環境インフラ側が自分の動きをセンシングしてくれるのなら、煩わしい装着準備は必要ない。身体の変化を楽しむというスポーツの根源的な面白さを、より身近に感じられるようになります。
イノラボは、「この技術をこんな課題に適用すれば、世の中はこう変わるのではないか」という仮説（というか妄想・・）から動き出す研究開発機関です。そもそも人々は、新たな技術による新しい世界に対する明確なニーズは持っていないものです。テクノロジーでどんな世界が創れるのか、未来のニーズは誰もわからない。だからこそ、探究する価値があると考えています。
プロジェクト立ち上げ時に思い描いていたRunning Gateのイメージ図
スポーツセンシング技術の先にある、ユーザーフィードバックへのこだわり
Running Gateは、2016年のリオ五輪の時に、昭和記念公園（東京都立川市・昭島市）で行われたライブイベントにて初実装し、一般のお客様への３Dデータ解析、走り方アドバイスという具体的なフィードバックまでの仕組みを構築しました。
苦労したのは、環境センシングゆえの、設備側の寸分の狂いも許されない点です。光を遮断した黒いテントの中に、3台のKinect v2を設置し、それぞれの情報を合成して１つの３Dモデルに繋ぎ合わせるのですが、センサーの位置が1ミリでもずれれば、あるいは時間情報が0.001秒でもずれればクリアなデータになりません。期間限定のイベントで完璧な環境インフラを再現できなければいけない、研究した成果を一般の方に活用いただく難しさを日々実感しました。
３Dデータ化された走行姿勢
イノラボは設立当初からあらゆるセンサーに着目し、研究していたので、様々な知見、研究実績を豊富に持っています。一方で、センシングした後に、得られたデータのユーザーへのフィードバックや具体的に日常生活にどう役立たせるかという“体験づくり”には長い間、課題を感じていました。
Running Gateでは、３Dデータを詳細な走り方アドバイスまでつなげています。リオ五輪イベント会場に設置したRunning Gateでは、ランニングフォームの専門家を招き、体験していただいたお客様にフォームのクセや改善方法を伝えました。プロジェクトの成果物をイベントで披露するだけでなく、具体的な走り方提案まで結び付ける。ユーザーフィードバックにこだわり抜いたことは、イノラボとしても意義のある取り組みでした。
３Dデータ解析が生み出す第三者視点を、スポーツの楽しさにつなげたい
Running Gate開発プロジェクトで培った「環境センシング」の考えは、今後さまざまな領域に応用できるものです。
例えば、OpenPose（深層学習を用いて人の関節点を検出し可視化する技術）もウェアラブルデバイスがいらないという観点からは環境センシングの技術の一つといえます。OpenPoseはスマートフォンで撮影した２Dの静止画から気軽に姿勢をチェックすることができます。そこで得られたデータをもとに、今後はAIでリモート診断を担うなど、さらなる技術の融合が進む可能性があります。コーチが伴走しなくとも環境側がセンシングしてフィードバックをくれれば、自分を客観視しながらスポーツを楽しめるようになる。フォーム改善により練習のクオリティが上がり、モチベーションの維持やパフォーマンスアップにつながります。
また、以前のRunning Gateでは、複数のKinect v2を設置する環境整備に苦労しましたが、新たにリリースされたAzureKinectを活用するとデータの同期がより簡易になるので、高精度な３Dデータ化を実現できるかもしれません。次世代Running Gateにチャレンジするのもよいですね。
「自分を客観視する」というアプローチは、スポーツのみならず、教育や芸術など、さまざまな世界でも、技術や興味関心の向上につながると考えています。身体を動かすのは感覚的なものだから数値で測っても仕方がない、というのは「Before Digital」の話。感覚的な身体動作に定量的な数値を合わせ、客観視することで、感覚的ではない自己認知力が生まれてきます。
自分の姿とお手本の指導者の姿を、比較し検討することも容易になるでしょう。今後は、自分の姿を見るための選択肢として、誰でも３Dデータを選べるようになれたらいいですね。イノラボは、センシングとユーザーフィードバックのあるべき姿を、これからも拘って研究していきます。イノラボは、センシングとユーザーフィードバックのあるべき姿をこれからも拘って研究していきます。
お問い合わせ
お問い合わせは以下よりお願いします。
