--- title: "3D Gaussian Splattingの原理｜3Dガウシアン・微分可能ラスタライズ・最適化の仕組み" url: "https://www.issoh.co.jp/tech/details/3288/" published: 2024-08-06 updated: 2026-10-28 categories: ["シミュレーション"] publisher: "株式会社一創" --- # 3D Gaussian Splattingの原理｜3Dガウシアン・微分可能ラスタライズ・最適化の仕組み 3D Gaussian Splatting（3DGS）は、複数枚の写真から、視点を自由に動かせるフォトリアルな3Dシーンを作る手法です。原理を一言でいえば、シーンを「位置・形・色・透明度を持つ楕円状のにじみ（3Dガウシアン）」の集まりで表し、それを画面へ塗り重ねて描き、写真との差から各ガウシアンを少しずつ直す、という繰り返しです。この記事では原理を**表現・描画・最適化**の3本柱に分け、原論文と公式実装に書かれた数値（既定のハイパーパラメータ、学習時間、FPS、メモリ）で中身を確かめていきます。 ## まとめ：3D Gaussian Splattingの原理は表現・描画・最適化の3本柱 - **表現**：シーンを100万〜500万個規模の3Dガウシアン（位置・共分散・不透明度・球面調和関数の係数）で陽に持つ。ニューラルネットの重みには埋め込まない。 - **描画**：各ガウシアンを2D画面に投影し、16×16ピクセルのタイルごとに深度順で半透明合成する。描画全体が微分可能。 - **最適化**：描いた画像と写真の差（L1とD-SSIMを0.8対0.2で混ぜた損失）を勾配で戻し、足りない所は複製・分割、薄いガウシアンは剪定する。 - **結果**：原論文の実測（A6000）では、Mip-NeRF360データセットで学習41分33秒・134fps。同じデータでMip-NeRF360は学習48時間・0.06fpsだった。代わりにモデルは734MBと重い。 - **使うときの注意**：公式実装は研究・評価用途に限る非商用ライセンス。商用利用では権利者の事前許諾を得るか、Apache License 2.0のgsplatなど、用途を許諾する別実装やツールを選ぶ。 以下、3本柱の順に中身を見たあと、数値・比較・試し方へ進みます。 ## 3D Gaussian Splattingの定義とNeRFとの違い 3D Gaussian Splattingは、INRIA（フランス国立情報学自動制御研究所）のGraphDecoチームなどによる論文「[3D Gaussian Splatting for Real-Time Radiance Field Rendering](https://arxiv.org/abs/2308.04079)」（Kerbl, Kopanas, Leimkühler, Drettakis／ACM Transactions on Graphics 42巻4号・SIGGRAPH 2023）で発表されました。論文の要旨が掲げる到達点は、1080pで30fps以上のリアルタイム新規視点合成です。 ### 「splat（スプラット）」の意味と描画方法 splatは英語で「べちゃっと塗りつける・はねて飛び散る」という意味です。3DGSでは、点を座標だけの点ではなく広がりを持つ楕円状のにじみとして扱い、それを画面に塗り重ねて絵にします。ポリゴンの面を貼るのでも、光線を1本ずつ追うのでもなく「にじみを塗る」ことが技術名の由来です。splattingはWestoverらによる1980年代末から1990年代のボリューム描画研究にさかのぼり、Zwickerらは2001年にEWA Volume Splattingを発表しました。3DGSは3Dのにじみを2Dへ投影する計算もこの研究から借りています。 ### NeRFとの画像形成モデルの共通点と陽的表現の違い NeRF（Neural Radiance Fields）は、空間の各点の色と密度をニューラルネットワークの重みとして**暗黙的（implicit）**に持ち、描画時はピクセルごとに光線を飛ばして線上の多数の点をネットワークに問い合わせます。3DGSはシーンを3Dガウシアンという離散的な部品として**陽的（explicit）**に持ち、それを2Dへ投影してα合成します。原論文は、この合成がNeRFと「同等の画像形成モデル」であると述べています。つまり何を計算しているかは同じで、違うのは計算の仕方です。光線上のサンプリングとネットワーク推論を、GPUのラスタライズと並べ替えに置き換えたことが、速度差の正体です。 ## 原理①：3Dガウシアンの集合によるシーン表現 1つ目の柱は「シーンをどう持つか」です。1つのガウシアンが、空間のどこに、どんな形と向きで、どれだけの濃さと色で存在するかを担います。原論文で試したシーンは、最適化後に100万〜500万個のガウシアンになっています。 ### 1つのガウシアンが持つパラメータとPLYの62属性 各ガウシアンは、位置（中心 μ）、共分散 Σ（楕円体の大きさと向き）、不透明度 α、球面調和関数の係数（色）を学習可能なパラメータとして持ちます。公式実装が学習結果を書き出すPLYファイルでは、既定のSH次数3の場合、1個あたり次の62個の値が並びます（[scene/gaussian\_model.py](https://github.com/graphdeco-inria/gaussian-splatting/blob/main/scene/gaussian%5Fmodel.py) の `construct_list_of_attributes`）。 | 属性 | PLYの列名 | 個数 | | --------------- | ------------- | -- | | 位置 | x, y, z | 3 | | 法線（未使用・0で出力） | nx, ny, nz | 3 | | 色の基本成分（SH 0次） | f\_dc\_0〜2 | 3 | | 色の方向成分（SH 1〜3次） | f\_rest\_0〜44 | 45 | | 不透明度 | opacity | 1 | | スケール | scale\_0〜2 | 3 | | 回転（クォータニオン） | rot\_0〜3 | 4 | 32ビット浮動小数で62個なので1ガウシアン248バイトです。100万個で約248MBになり、3DGSのファイルが数百MBに膨らむ理由がここから分かります。値の半分以上（48個）が色の係数である点も押さえておくと、後述する圧縮手法の狙いが理解しやすくなります。 ### 共分散行列のスケール・回転への分解 共分散行列 Σ をそのまま勾配で更新すると、途中で共分散として成り立たない値（半正定値でない行列）に壊れます。そこで3DGSは Σ を、対角のスケール行列 `S` とクォータニオンから作る回転行列 `R` に分けて持ち、`Σ = R S S^T R^T` で組み立てます。学習で更新するのはスケール3個と回転4個だけで、Σ は毎回そこから作るため、常に正しい楕円体になります。原論文の比較では、向きを持てない等方的な球に制限すると細い構造が再現できず、画質が明確に落ちています。 ### 見る方向で色を変える球面調和関数 金属のハイライトのように、実物は見る角度で色が変わります。3DGSは色を1つの値ではなく、視線方向を入れると色を返す球面調和関数（Spherical Harmonics, SH）の係数で持ちます。公式実装の既定は `--sh_degree 3`（RGB各16係数・計48個）です。学習は0次（方向によらない色）から始め、1,000反復ごとに次数を1つずつ上げます（[train.py](https://github.com/graphdeco-inria/gaussian-splatting/blob/main/train.py) の `oneupSHdegree`）。原論文では、撮影方向に欠落がある場合にSHの0次成分である基本色が不適切な値になる問題を抑えるため、この段階的な導入を採用しています。 ## 原理②：微分可能なタイルベースラスタライズによる描画 2つ目の柱は、速さと学習可能性の両方を支える「3Dガウシアンから画像を作る描画」です。投影や色の合成について勾配を計算しますが、深度ソートやカリングなどの離散的な判定まで微分するわけではありません。実装は[CUDA](/tech/details/4902/)で書かれた専用のラスタライザ（diff-gaussian-rasterization）で、描画と勾配計算を同じ仕組みの上で行います。 ### 3Dガウシアンの2D画面への投影 中心はカメラ行列で画面座標に移します。広がりは、ビュー変換 `W` と射影変換を局所的に線形近似したヤコビアン `J` を使い、`Σ' = J W Σ W^T J^T` で2Dの共分散に変換します。3Dの楕円体が、画面上の2Dの楕円のにじみに潰れる計算です。 ### タイル分割・深度ソート・αブレンディングの式 画面を16×16ピクセルのタイルに分け、各ガウシアンを重なるタイルの数だけ複製し、「タイル番号＋深度」をキーにGPUの基数ソートで一度に並べ替えます。並べ替えはピクセルごとではなく全体で1回なので、ここが高速化の要です。各ピクセルの色 `C` は、手前から順に ``` C = Σ_i c_i α_i Π_{j/input` に置き、COLMAPでカメラ位置を推定してから学習します。以下のコマンドでは、入力パスを自分の環境に合わせ、評価用の2行にある実行IDのプレースホルダーを山括弧ごと実際の出力先IDへ置き換えてください。 ``` git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive cd gaussian-splatting conda env create --file environment.yml conda activate gaussian_splatting # COLMAPで歪み補正済み画像とSfM点群を作る（COLMAPとImageMagickにパスを通しておく） python convert.py -s /data/scene --resize # 学習（既定は30,000反復。--eval で学習用と評価用に分ける） python train.py -s /data/scene --eval # 評価画像の書き出しと指標の計算 python render.py -m ./output/<実行ID> python metrics.py -m ./output/<実行ID> ``` カメラモデルは SIMPLE\_PINHOLE か PINHOLE である必要があり、convert.py がその形式に変換します。2024年10月の更新で、学習の高速化、深度による正則化、アンチエイリアス、露出補正が公式実装に取り込まれました。学習済みモデルは、Windows向けのSIBRビューアや、PLYを読めるブラウザ向けビューアで開けます。 ## 派生手法とデータ形式の広がり 2023年の発表以降、原理の弱点を補う派生手法と、配布用のデータ形式が出そろってきました。 ### 原理の弱点を補う主な派生手法 派生手法の多くは、3本柱のどれか1つを差し替えたものとして読めます。 | 手法 | 発表 | 差し替えた柱 | 狙い | | --------------------- | ----------------------------- | ------ | ------------------- | | Mip-Splatting | CVPR 2024（Best Student Paper） | 描画 | 拡大・縮小時のエイリアスを抑える | | 2D Gaussian Splatting | SIGGRAPH 2024 | 表現 | 平たい円盤で面の形状を正確に取る | | 3DGRT（NVIDIA） | SIGGRAPH Asia 2024 | 描画 | ラスタライズをレイトレーシングに置換 | | 3DGUT（NVIDIA） | CVPR 2025（Oral） | 描画 | 投影の線形近似をやめ非線形カメラに対応 | 原理②で見た投影 `Σ' = J W Σ W^T J^T` は、射影をヤコビアンで線形近似するEWA splattingの式です。魚眼レンズのように歪みの大きいカメラではこの近似が崩れるため、[3DGUT](https://research.nvidia.com/labs/toronto-ai/3DGUT/)はここをUnscented Transformに置き換え、反射や屈折に要る二次レイにも対応しました。[3DGRT](https://research.nvidia.com/labs/toronto-ai/3DGRT/)はガウシアンの粒子にBVH（境界ボリューム階層）を組み、画素ごとにレイを飛ばします。NVIDIAによるこの2手法は、反射・屈折や特殊なカメラへの対応を狙って描画処理を変えたものです。 ### PLYからSPZ・glTFへ進むデータ形式 公式実装のPLYは、既定のSH次数3ではヘッダーを除いて1ガウシアン248バイトです。大規模なシーンを配布する場合は、転送量に応じて圧縮を検討します。Niantic Labsが公開した[SPZ](https://github.com/nianticlabs/spz)（MITライセンス）は、READMEで「対応するPLYより通常約10分の1に小さく、見た目の差はわずか」と説明されている圧縮形式です。 標準化も進みました。Khronos Groupは2026年2月3日にglTFの拡張 `KHR_gaussian_splatting` のリリース候補を[発表](https://www.khronos.org/news/press/gltf-gaussian-splatting-press-release)し、[仕様のREADME](https://github.com/KhronosGroup/glTF/tree/main/extensions/2.0/Khronos/KHR%5Fgaussian%5Fsplatting)では、2026年10月28日の確認時点で状態が「Complete, Ratified by the Khronos Group」とされています。この拡張は位置・回転・スケール・不透明度・球面調和関数を点プリミティブの属性として持たせるもので、原理①で見たパラメータがそのまま標準の形になりました。対応していないビューアでは疎な点群として表示される、という逃げ道も仕様に組み込まれています。glTFを読める [Three.js](/tech/details/3051/) のようなWeb向け3Dライブラリやゲームエンジンへの持ち込みは、この拡張への対応状況を見て判断するのが確実です。 ## よくある質問 ### 3D Gaussian Splattingの原理を数式なしで一言でいうと？ 「色と大きさと透明度を持つ無数のにじみを空間に置き、画面に塗り重ねて絵にし、写真との差でにじみを直していく」技術です。塗る・比べる・直すの繰り返しが原理の核で、足りない所ではにじみを増やし、要らないものは消します。 ### 「splat」とはどういう意味？ 英語で「べちゃっと塗りつける・はねて飛び散る」という意味です。点を面や線ではなく広がったにじみとして画面に塗り重ねる描画方法を指し、その塗り方がそのまま技術名になっています。 ### NeRFと3D Gaussian Splattingはどちらを使うべき？ リアルタイムで動かしたい、ゲームエンジンやWebで見せたいなら3DGSです。原論文の測定では、ほぼ同じ画質でMip-NeRF360の0.06fpsに対し134fpsでした。保存容量を小さくしたい（Mip-NeRF360の8.6MBに対し3DGSは734MB）なら、NeRF系に分があります。 ### 3DGSを動かすにはどんなGPUが必要？ 公式実装で学習するには、Compute Capability 7.0以上のNVIDIA製GPUが必要で、論文と同じ品質まで学習するならVRAM 24GBが目安です。学習済みシーンを見るだけならビューアの推奨はVRAM 4GBで、要求はずっと軽くなります。 ### 2D Gaussian Splattingとの違いは？ 表現の柱が違います。3DGSは3軸に広がる楕円体で、見た目の再現と描画速度を優先します。SIGGRAPH 2024で発表された[2D Gaussian Splatting](https://surfsplatting.github.io/)は、ガウシアンを厚みのない円盤にして物体の表面に沿わせ、形状（メッシュ）を正確に取り出すことを優先します。見せるためなら3DGS、形を取り出したいなら2DGSが目安です。 ## 関連記事 - [CUDAとは？読み方と仕組み・CUDA 12と13の違い・始め方【13.4対応】](/tech/details/4902/) - [点群データのCAD化：メッシュ化・面フィッティングの処理フローとOpen3DでDXFを書き出す実装](/tech/details/18911/) - [Three.jsとは？r185の導入手順とglTF表示・バンドルサイズ実測まで解説](/tech/details/3051/) - [SPAR3Dとは？Stability AIの画像から3Dメッシュを作るモデルの仕組み・使い方・商用条件](/tech/details/4813/) - [UE5のビデオメモリ不足エラー対処｜原因の切り分け手順・推奨スペック・VS2026対応【2026年10月】](/tech/details/7495/) --- 出典: [3D Gaussian Splattingの原理｜3Dガウシアン・微分可能ラスタライズ・最適化の仕組み]()（株式会社一創）