マルチカメラを活用しアスリートの動きを撮影！技能習得に向けた自由視点映像の可能性

2020.03.23

イノラボでは、運動している様子を複数のカメラで多角的に撮影することで、スポーツの新しい見せ方ができないか、さまざまな研究を進めてきました。
今回紹介するのは、2018年6月に中京大学の協力のもと行ったプロジェクトです。
マルチカメラやスマートフォン、ウェアラブルカメラなどさまざまなデバイスや撮影手法を用いて、アスリートの動きを3D解析する仕組みを検討しました。
これらは、アスリートにとって参考になる情報への変換や、熟練者の技術の伝承などに活用できるのではないかと考えています。
本プロジェクトについて、プロジェクトマネージャー・岡田敦に、研究の背景から、見えてきた成果、遠隔時代の今だからこそ考える技術活用の展開について聞きました。

 

多角的視点での動画を統合し、スポーツ技術の取得、伝達方法を模索したい

人の身体をいろんな角度から撮影しデータ統合することで、スポーツの新たな楽しみ方を示せないか――。複数の最新カメラデバイスを活用したスポーツ技術の取得方法を模索しようと行ったのが、今回ご紹介する東京大学暦本研究室との共同プロジェクトです。

 

2018年6月に行った本研究では、「競技の面白さを拡張して伝える動画の収集」「アスリートのパフォーマンス向上につながる解析データの構築」を目指し、多くのトップアスリートを輩出している中京大学にご協力いただきました。棒高跳びの選手を被写体に、複数のカメラやセンサーで取得した撮影データと、筋肉の動きの情報をうまく連動させ、画像解析する方法を模索しました。

 

棒高跳びは、数多くあるスポーツの中でも、走る・跳ぶ・身体を回旋させる・着地するなど、さまざまな動きの要素が複雑に絡み合った競技です。体力の関係で、1日７～８本跳ぶのが限度のため、選手やコーチの方は、
「自分が理想通りに動いている映像ができたら、跳んでいない練習時間の動作確認や、イメージトレーニングの精度が上がる」
と言います。

 

地面からの反力をどう身体に伝えられているか、体幹をきちんと使えているかどうかを見たいという要望もあり、それらの棒高跳びの動作を撮影・画像解析技術で検証することはチャレンジングな試みでした。

 

実証実験でまず行ったのは、マルチ高速カメラ「SONY DSC-RX0」を用いたフォーム確認の撮影です。棒高跳びのポール支柱に、複数台のカメラを連続して固定し、選手の助走からポールを突き放すまでの一連の動作を撮影しました。

 

DSC-RX-0は、1秒に960枚というスーパースローモーションの撮影が可能で、最大15台まで同期できる。撮影のタイミングを15台同時に合わせられるため、複数の角度から撮影した映像を統合する作業が非常に効率的になる

 

加えて、選手の頭と身体（胸の中心）にウェアラブルカメラを装着し、一人称視点での選手目線の映像、胸の高さから見える映像も取得。周囲から選手を俯瞰して見た映像と、ポールに固定して撮影した映像をすべて統合する仕組みを構築し、撮影を行いました。

 

中京大学（名古屋キャンパス）での撮影風景

 

結果として、棒高跳びの選手から見える視界、ポールから見た身体の動き、周囲から見える様子がすべて統合された興味深い動画を作成することができました。

 

 

一方で、この撮影方法は課題もあり、複数のカメラをケーブルでつなぐ必要があり、競技を邪魔しないように配置を考える必要がありました。また、屋外の暑さで一部のカメラに動作不備が出るなど、屋外では環境や天候に左右されることが多く、簡単に思い通りの撮影をするためには大掛かりな準備が必要であることがわかりました。

 

身近な最新デバイス、スマートフォンを活用した動作解析の可能性を探る

そこで新たに検証したのが、スマートフォンを使った動作解析の可能性でした。私たちの身近にあるデバイスで、手軽に身体の動きを多角的に撮影して、見たいところから映像を観る、実際にカメラがない角度からの視点を生成して観ることができれば、様々なアングルでスポーツを観戦できるようになり、スポーツの面白さはより伝わります。
棒高跳びの撮影では、周囲から撮ったスマートフォン動画の精度が期待以上に高いものでした。OpenPose（カメラ画像から人の関節点の動きを検出し、その関節点同士をつなぎ合わせたモデル画像を出力する手法）で、おおよそ正しそうな関節・骨格の動きをとらえることができました。さらに近年の画像処理技術を利用すると、それらしい人の3Dデータを生成できることが確認できました。

 

「openpose」「End-to-end Recovery of Human Shape and Pose」によるスマートフォン映像の分析の様子

 

1台のスマートフォン動画で人の3Dデータを取得できるのであれば、複数台のスマートフォンで撮影した映像を統合して、高精細な運動解析が可能なムービーを作成できる可能性があるのではと考えました。これができれば、友人同士、チームや部活の仲間同士で撮影したもので、スポーツ中の動作の解析ができるようになります。さらに、特定のアングルから撮影したカメラが身体の動きを動画で保存できれば、実際に撮影していないアングルの映像も生成できるのではないかと考えました。

 

そこで実証実験では、左右それぞれから2台のスマートフォンで動きを撮影し、OpenPoseで解析したところ、上から見たときの関節の動きを推測して示すことに成功しました。3D Poseの身体の姿勢も正しく取得できるなど、スマートフォンを用いたスポーツ解析の可能性を感じさせる研究結果となりました。

 

暦本研究室・イノラボが最新の研究手法で複数視点映像から3Dモーションを再現

 

カメラのない位置から見た身体の動きを推定する映像

 

身体の動きの推定映像に関しては、中京大学とのディスカッションの結果、トップアスリートの技術向上のためにはまだまだ情報が足りないことがわかりました。骨格や関節の動きは正確に捉えられましたが、地面からの反力が身体にどう作用しているか、体幹の向きなど、トップアスリートレベルが必要とする情報までは提供できなかったためです。この課題をクリアするには、さらなる実証実験を行い、解析手法の検討や異なるアプローチを考えることが必要です。

 

一方で、スマートフォンを使った撮影での身体動作の解析の検証ができたことは、スポーツを楽しむ人はもちろん、普段スポーツに馴染みのない人も、身体の動きを自由に観察して参考にできる可能性を感じさせてくれるものでした。スマートフォンの画質では詳細な解析は難しいと思い込んでいましたが、実際にやってみるとできてしまったことから、将来的に個人の端末でいろいろな解析ができるようになる、という期待感を持つことができました。

 

自由視点映像で変わるスポーツの楽しみ方。VRとの連携で、遠隔の技能伝達に活用していく

従来のモーションキャプチャは、身体にセンサーを付けてデータを取るのが一般的でした。ウェアラブル機器は、正確なデータをとるには現時点でもっとも確実な技術ですが、装着する側にとって負荷が大きく、一般の方が気軽にデータをとることができません。スマートフォンやパソコンのカメラで同時撮影を行い、自分の立体的な３Dの動きを習得できれば、スポーツ指導の現場は大きく様変わりするでしょう。

 

さらに、５Gの登場で、自分が見たいアングルを選んで映像を楽しむ「自由視点映像」が一般的になっていき、スポーツの楽しみ方も変化していくでしょう。例えば、スタジアムで観客席から撮った複数の動画で、立体的に試合を再現できる日がくるかもしれません。目の前で試合が行われているかのような臨場感を得られ、アスリートの動きをさまざまな角度から見ることで、プロの技術を一般の人が身近に感じられる世界がやってくる。アスリート同士の技術の向上にもつながる可能性もあります。

 

最新デバイスを使ってスポーツを測定し、新たな技能習得や伝達、スポーツの楽しさを広めたいという思いは、現在、VR空間での動作伝達の研究にもつながっています。

 

VR技術が組み合わされれば、アスリートや指導者の動きを、同じ場所にいなくても見ることができます。VR空間の中を歩き回り、好きなアングルからアスリートの動きを観察したり、指導者のスローモーションの動きに合わせて自分の身体を動かしたり。リアルタイムの精緻な情報を、遠隔で学べる世界を実現できるでしょう。

 

スポーツのみならず、伝統芸能の身体の動きを、伝承のために映像で保存し、時間と空間を超えて、何度でも動きを確認できるようにもなる。身体活動が必要なあらゆる領域での活用に可能性が広がっており、INNOLABでは継続して、この分野の実証実験を続けています。