SIGGRAPH Asia 2021 TOKYOから見るコンピューターグラフィックスの動向

2021年12月14日から17日までの日程でSIGGRAPH Asia 2021 TOKYOが開催されました。 SIGGRAPH (Special Interest Group on Computer GRAPHics)はACM (Association for Computing Machinery)主催の世界最大のコンピューターグラフィックスのカンファレンスで毎年北米で開催されますが、そのアジア版が SIGGRAPH Asiaであり、2021年は東京で開催されました。コロナ禍であるため、開催は現地(国際フォーラム)とオンラインのハイブリッド型の開催となり、イノラボからは現地を含めた両方での参加となりました。

 

全体を通して、特に印象的だったのは３Dプロジェクションマッピング、立体映像でした。本日はその一部をご紹介します。

 

 

３Dプロジェクションマッピングの動向

 

３Dプロジェクションマッピングは東大と東工大のグループが発表しており、それぞれアプローチは違いますが、デモを見る限り、両者とも高いレベルで実現されていました。
東大の石川正俊特任教授らのグループはモーションキャプチャーシステムを用いて、マーカーのついた投影先（マネキン等）に3Dプロジェクションマッピングを行なっているもので、リアリティを追求しているのが印象的でした。特に仮想的な物理特性を投影している映像に反映することを行っており、たとえば、投影先の物体に振動などを加えると、投影している映像も振動するといったレベルでリアリティを追求していました。これはマーカーを使ったモーションキャプチャーシステムを使っているので、非常に精度が高く、投影先の物体の３D座標推定ができているから実現できているのだろうと思います。近年、VRやメタバースなどのバーチャル空間のコンテンツの成長はめざましいですが、こうした技術は完全なバーチャル空間ではなく、実空間の中でのバーチャル技術としてリアリティを追求すれば、それらの取り組みとはまた違ったものになりそうです。

 

Simultaneous Augmentation of Textures and Deformation Based on Dynamic Projection Mapping

 

High-speed color projector toward the world of 1,000fps vision

 

Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors

 

 

東工大の渡辺義浩准教授らのグループはモーションキャプチャシステムを用いずに、マーカーレスで実現させていました。このチームがとった方式では、 RGBプロジェクターから出力される可視光の波長とは別の波長の光であるIR（赤外線）を投影して、そのIR画像をIRカメラで捉えることで空間認識を行い素早く計算することで、ほぼリアルタイムな３Dプロジェクションマッピングを実現させていました。マッピング用の可視光と空間センシング（画像深度推定）用の赤外線という波長の違う光を使い分けることで、両者の光の干渉なく、マッピングと空間センシングが実現できているようです。空間センシング自体はRGB画像からも近年は実現できるようになっていますが、プロジェクションマッピングという目的に関しては、以前からKinnect（商標）などで馴染み深い赤外線を選択するほうが相性が良いとされているのだと思います。
これも東大のグループと同様に動いている物体への追従型のプロジェクションマッピングであり、RGBとIRのプロジェクターを使っているので位置合わせ等の補正技術や動く物体にもリアルタイムで追従させて投影するために、大きな時間遅延が発生しないような演算が必要で、デモを見る限り、そのような技術の積み重ねが見事に実現されているのが伝わってきます。

 

Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors

 

プロジェクションマッピングというとテーマパークなどで実用化されているものをすでに目にすることができますが、その技術革新はめざましく、近い将来、今よりも高いレベルのものをエンターテインメントの分野で楽しむことができると感じました。もしかしたら、エンターテイメントを超えて、教育現場や街中の公共施設など、身近な分野でも見ることができるかもしれません。

 

 

立体映像等の技術動向

 

もう一つの目玉としては、立体映像や映像の煌めきなどに特徴のあるディスプレイや投影技術が印象的でした。

 

イノラックスジャパンのディスプレイは煌めきを表現するディスプレイを展示していました。このディスプレイは完成度が高く、展示会場でも遠くから眺めているだけで、質の違うディスプレイのデモがあることがわかったので、公共施設に設置しても、その品質が伝わると思います。その他の立体映像などのデモなどでは視野角や距離に制限があり、条件を満たさないとデモを楽しめないのですが、このディスプレイだけは違いました。近年、駅などでも広告用のサイネージが多く設置されている中でも、こうしたディスプレイを使ったサイネージ広告などは既存製品に対して優位性が出てくると思います。

 

 

東京農工大学からはライトフィールドディスプレイが展示されていました。ライトフィールドディスプレイでは３Dメガネを着用せずとも、裸眼で立体映像を楽しむことができます。このデモの特徴はまずデバイスがテレビサイズであることです。立体映像を楽しむにあたり、メガネをかけたり、特殊な装置を使うことが必要になると、やはり家庭内利用でハードルがあります。従来のテレビと同様のサイズのデバイスであれば、そのハードルが一気に下がるかと思います。

 

 

立体ディスプレイというとソニーからは空間再現ディスプレイ（Spatial Reality Display）『ELF-SR1』が展示されていました。こちらは報道で周知の通り、カメラで目の位置を検知することで、空中に立体があるかのような映像を体験することができます。すでにこちらは製品化されているとあって、高い品質の立体映像を体験することができました。こうしたデモはやはりニュース映像やオンライン展示ではよくわからない部分があるので、実際に現地で体験することが1番だと思います。デバイスのサイズ的にテレビの代替といった用途というよりも、デスクやテーブルの上に設置するといった用途が適しているようで、こちらは医療機関で、医師や患者にCT画像を現場の３D映像の代替として立体映像で見せるデモを展示していました。特に患者視点で考えると、医療画像などは普段見られていないので、よりわかりやすくリアルな立体映像をみることで、理解が深まります。インフォームドコンセントに貢献することが期待されます。

 

 

ソニーPCLからはバーチャルプロダクションラボの紹介がありました。こちらはすでに報道でも知られている通り、スタジオで背景映像を自由に切り替えられるシステムを導入することで、ロケで撮影しなくとも、同様のリアルな映像が撮影できるというシステムです。こうした映像からは古い映画のドライブ映像などでみられる、実物の車と役者の映像に流れる景色と合成することで、ドライブ映像を構成するというレガシーな方式で撮影されたシーンが思い起こされますが、そのような昔からある合成撮影の技術が現代の技術で大幅にアップデートされ、グリーンバックすら不要となり、合成かどうかが見た目でわからないレベルまで到達しつつあります。

 

近年、レンダリングやLiDARによるポイントクラウド、フォトグラメトリなどの技術が発達しており、背景映像の選択肢は大幅に広がりました。さらにLEDの技術も進化し、斜めからの撮影も可能となることで、こうした技術が実現していると考えられます。

Sony PCL Inc.’s virtual production

その他ユニークな技術

全体を通して、立体映像やプロジェクションマッピングの技術に目に行きがちでしたが、その他尖った技術もありました。

 

一つは、愛知工業大学の展示で手書きのイラストを３Dでデフォルメして表示してくれるシステムです。コロナ禍でテレワークが浸透し、ホワイトボードや手書きの紙に図や絵を描いて説明することがめっきり減りましたが、打合せなどでのその場で議論を盛り上げるには、事前に用意したスライドだけでは足りず、その場で手書きで説明するほうが議論が白熱していたことを思うと、テレカンでも手書きで書いた雑な絵が良い感じに自動でデフォルメされて綺麗な絵としてデジタル化されると、テレカンでもリアルな打合せで行っていたその場での手書き資料を綺麗なデジタル情報としてスムーズに再現できるのではないかと期待してしまいます。

 

Amazing Sketchbook the Ride”: Driving a Cart in a 3DCG Scene Created from a Hand-Drawn Sketch

 

また写真関連技術としては写真の品質を上げるために自動拡張を行う技術が発表されていました。これまで写真を良い構図にするために最適なトリミングを行う研究は存在するのですが、外挿により拡張するという研究には珍しさがあります。外挿にはStyleGAN2が用いられています。構造は２段階のモジュールになっており、前段が拡張する必要があるかどうかを判定するモジュール、後段がどのような外挿を行うか決定するモジュールになっています。気になる学習に必要な画像の枚数ですがGAICD datasetからトレーニングデータが1,036枚、テストデータが200枚という小規模のデータセットで実現できていることに驚きました。この技術はスマホユーザーが写真を撮影する際に撮影に失敗してこれまで無駄になっていた写真を無駄にしないためにも、実用化された場合には、その恩恵が大きいのではないでしょうか。

 

Aesthetic-guided outward image cropping

https://www.shaopinglu.net/publications_files/tog21.pdf

 

 

アフターコロナでのカンファレンスの理想像

今回、本カンファレンスはコロナ禍でオンラインとリアルのハイブリッド型で開催されました。やはり、コンピューターグラフィックスのようなテーマの場合は、オンラインで見るよりも、実物で見た方が圧倒的に技術の素晴らしさがわかります。また、オンラインの場合はどうしても情報が文字から入ってくる場合が多いですが、リアルで見ると、情報が視覚的に実物から最初に入ってくるので、印象にも残りやすいです。ただ、オンラインにもメリットがあり、後から詳細な資料や映像をみることで理解がより深ました。これからのカンファレンスはリアルとオンラインのそれぞれの強みを生かしたハイブリッド型であることが望まれます。

Text : 藤原洋介