アメリカで開催された国際的なCG学会・展示会「SIGGRAPH（シーグラフ）」にて、3D空間の新たな描画手法「3Dガウス・スプラッティング」が研究発表された。

3Dガウス・スプラッティングは、実世界で撮影された動画または大量の写真を読み込み、現実世界のデータを採取。このデータに特定の処理を施し、学習済データを事前生成することで、特定の視点からの情報をリアルタイムで再現可能となる。

一度事前処理を済ませれば、空間内を歩いたり飛んだりしている画像をリアルタイムで生成可能だ。一般的に3D描画に用いられるポリゴンはまったく使用せず、代わりに「ガウス」と呼ばれる色情報を画面内に重ね塗り（スプラッティング）することで、高速な描画を実現した。

透明なガラスも複雑な植物も、自在に描画

この手法はフォトリアルな3Dシーンをリアルタイムで描画する画期的な手法として、注目を集めている。8月のSIGGRAPHで発表されて以来、独自に試してみたというユーザーの動画が多くのYouTubeチャンネルに投稿され、驚くほどリアルで高速な描画が確認できる。

YouTubeチャンネルの「grade eterna」は、ハスの池が美しいロンドンの温室をこの手法で再現した。ガラスに囲まれた緑豊かな温室内が詳細に再現され、カメラは3D空間を自在に動き回る。複雑な葉の1枚1枚までていねいに描写されているにもかかわらず、動きは極めてスムーズだ。

透明なガラス屋根、入り組んだ形状の植物、反射する池の水面など、3D描画が苦手とするオブジェクトが多数盛り込まれているが、極めて自然な映像が再現されている。手持ちのPCでの実行時には、100fps（秒間100コマ）以上の高速な描画が確認できたという。比較として参考までに、テレビ番組は秒間約30コマで放送されており、その3倍のなめらかさとなる。

屋外も問題なし…観光名所をリアルタイム処理で散策

屋外でも対応可能だ。同チャンネルは、ホテルとして建設されたパリの歴史的建造物の中庭を、同じく3D空間として再現している。

均整の取れた左右対称の建築物に、太陽の照り返す屋根の質感、そして偶然に写り込んだ人物に至るまで、目立った破綻なく再現されている。

いずれも撮影者は全天球カメラのInsta360 ONE RS 1インチ 360度版を用い、現場の領域を歩き回りながら撮影して多方向からの映像データを収集。これを3Dガウス・スプラッティングのパイプラインに読み込ませたという。

なお、工程は全自動とはいかず、パラメータの調整など一定の苦労があったとのことだ。また、処理の特性上、完全に晴れた空など色が均一のオブジェクトは再現が難しいことがある。

ドローン映像からスタジアムを丸ごと再現

現状はコンセプトを実証するレベルの実装に留まるが、将来的にVRコンテンツや3Dゲームへの応用を期待する声も大きい。写真や動画にもとづいて精緻な風景を再現できることから、うまくいけば製作コストを抑える効果もありそうだ。

ドローンによる空撮映像を使えば、建物を丸ごと再現することも可能だ。3D技術を検証するYouTubeチャンネルの「Bad Decisions Studio」は、空撮データを使い、巨大なスタジアムの外観を丸ごと再現した。細く突き出る支柱も難なく再現されており、周囲をとりまく無数のほかの建物も、一定範囲内であれば破綻なく表現されている。

たった1本の空撮動画から3Dシーンが生成され、スタジアム上空をなめらかに視点移動できるのを見たチャンネルホストの2人は、「わっ、信じられない！」「3Dを永遠に変えてしまう」と興奮した様子だ。

2人はさらに、複数の別のシーンに挑戦している。水辺の遊歩道を再現する実験では、600fpsを越える描画速度を達成。また、かなり暗い夜間の街頭のシーンも問題なくシーンの再現に成功している。

3次元処理を省略し、2次元の塗り絵で高速化

3Dガウス・スプラッティングは、非常に簡略化して例えるならば、実際の景色を2次元の精緻な塗り絵で再現したものだ。

現実世界で撮影された映像データを解析し、はじめにポイント・クラウドと呼ばれるデータを生成する。プログラムは、物体のフチなど特徴的なポイントを画像から検出し、3D空間内のどの位置に、どの色のポイントが確認されたかを収集する。

次にこうしたポイント情報から、ガウスと呼ばれる情報を得る。ガウスとは、楕円形をした色情報だ。1つ1つのガウスが、「どの位置にあるか（X, Y, Z）」「何色か（R, G, B）」「どのくらい透明か（A）」「楕円がどの向きにどれくらい引き伸ばされているか（3X3マトリクス）」を示す各データをもっている。

たとえば自転車のスポークのような非常に細いパーツは、極度に引き延ばされた楕円が数個連続したものとして処理する。

特定の位置にカメラが移動すると、ガウスを元に画面を再描画。カメラとの距離順に画面内のガウスを並べ直し、画面内をガウスの色と透明度で順に塗っていくようなイメージとなる。こうして、描画コストを最小限に抑えながら、元の風景を高品位で視覚的に再現する。

描画手法の発達で、よりリアルな体験に期待

ソースコードが開発者向けプラットフォーム・GitHubで公開されており、一定のコーディング知識があれば手持ちのパソコンで試すことが可能だ。

動画や多数の写真から3D形状を推定する技術自体は、これまでにも存在した。なかでも、高品質で高速な処理手法として、2020年発表のNeRFなどが知られる。

NeRFが3Dオブジェクトの形状（ジオメトリ）を再現するのに対し、3Dガウス・スプラッティングは「カメラからどう見えるか？」に特化することで、より高速で高品質な描画を可能とした。

まだ研究発表から数カ月しか経っていないものの、将来の3Dのあり方を塗り替える可能性があるとして盛りあがっている。リアルタイム処理に優れており、VRやゲームへの応用も期待できそうだ。

---fadeinPager---

 

 

---fadeinPager---

 

---fadeinPager---

 

---fadeinPager---