SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image

📄 arXiv: 2411.12471v2 📥 PDF

作者: Zixu Wang, Hao Yang, Yu Guo, Fei Wang

分类: cs.CV

发布日期: 2024-11-19 (更新: 2024-11-25)

💡 一句话要点

SCIGS：从单幅压缩图像重建动态场景的3D高斯溅射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯溅射 快照压缩成像 动态场景重建 基元级变换网络 单幅图像重建

📋 核心要点

  1. 现有基于深度学习的SCI重建方法难以保持场景的3D结构一致性，而NeRF方法在处理动态场景时存在局限性。
  2. SCIGS通过引入基元级变换网络，利用相机位姿和高斯基元坐标作为嵌入，增强了动态场景下的多视角3D结构一致性。
  3. 实验结果表明，SCIGS在静态和动态场景下均表现出色，优于现有方法，并能有效消除变换过程中的伪影。

📝 摘要（中文）

本文提出了一种名为SCIGS的3D高斯溅射变体，用于从单幅快照压缩图像(SCI)中重建3D场景。针对现有基于深度学习和NeRF的重建方法在动态场景中存在的3D结构一致性问题和动态场景处理限制，SCIGS利用相机位姿信息和高斯基元坐标作为嵌入向量，构建了一个基元级变换网络。该网络消除了传统3DGS对相机位姿的依赖，并通过变换后的基元增强了动态场景中的多视角3D结构一致性。此外，引入高频滤波器以消除变换过程中产生的伪影。SCIGS是首个从单幅压缩图像中重建3D显式场景的方法，并扩展到动态3D场景的应用。实验结果表明，SCIGS不仅增强了SCI解码效果，还在从单幅压缩图像重建动态3D场景方面优于当前最先进的方法。

🔬 方法详解

问题定义：论文旨在解决从单幅快照压缩图像（SCI）中重建高质量3D动态场景的问题。现有基于深度学习的方法难以保证重建场景的3D结构一致性，而基于NeRF的方法在处理动态场景时效率较低且效果有限。这些方法通常需要多视角图像或复杂的优化过程，不适用于单幅压缩图像的快速重建。

核心思路：论文的核心思路是利用3D高斯溅射（3DGS）的显式表达能力，并结合基元级变换网络来处理SCI数据。通过将相机位姿和高斯基元坐标嵌入到变换网络中，实现对高斯基元的动态调整，从而适应单幅压缩图像带来的信息缺失和动态场景的变化。

技术框架：SCIGS的整体框架包括以下几个主要阶段：1) SCI图像的输入；2) 基元级变换网络，该网络以相机位姿和高斯基元坐标作为输入，输出变换后的高斯基元参数；3) 3D高斯溅射渲染，利用变换后的高斯基元参数进行场景渲染；4) 高频滤波，用于消除变换过程中产生的伪影；5) 损失函数优化，通过比较渲染结果与真实场景，优化网络参数。

关键创新：SCIGS的关键创新在于：1) 提出了一种基元级变换网络，能够根据相机位姿和高斯基元坐标动态调整高斯基元参数，从而适应单幅压缩图像和动态场景；2) 引入高频滤波器，有效抑制了变换过程中产生的伪影，提高了重建质量；3) 首次实现了从单幅压缩图像中重建3D显式场景，扩展了3DGS的应用范围。

关键设计：基元级变换网络的设计是关键。该网络通常由多层感知机（MLP）构成，输入包括相机位姿信息（例如，旋转和平移向量）和高斯基元坐标。网络输出是对高斯基元参数（例如，位置、尺度、旋转和颜色）的调整量。损失函数通常包括渲染损失（例如，L1或L2损失）和正则化项，以保证重建结果的质量和稳定性。高频滤波器的具体实现方式未知，但推测可能采用频域滤波或卷积操作来抑制高频噪声。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SCIGS在静态和动态场景下均优于现有方法。在动态场景重建方面，SCIGS能够从单幅压缩图像中重建出高质量的3D模型，并在结构一致性和视觉效果方面取得了显著提升。具体性能数据未知，但摘要强调了SCIGS超越了当前最先进的方法。

🎯 应用场景

SCIGS在高速动态场景重建、虚拟现实、增强现实、机器人导航等领域具有广泛的应用前景。例如，可以用于快速重建运动物体的3D模型，为机器人提供实时的环境感知能力，或用于创建逼真的虚拟现实体验。该方法还可以应用于医学成像、工业检测等领域，提高成像效率和精度。

📄 摘要（原文）

Snapshot Compressive Imaging (SCI) offers a possibility for capturing information in high-speed dynamic scenes, requiring efficient reconstruction method to recover scene information. Despite promising results, current deep learning-based and NeRF-based reconstruction methods face challenges: 1) deep learning-based reconstruction methods struggle to maintain 3D structural consistency within scenes, and 2) NeRF-based reconstruction methods still face limitations in handling dynamic scenes. To address these challenges, we propose SCIGS, a variant of 3DGS, and develop a primitive-level transformation network that utilizes camera pose stamps and Gaussian primitive coordinates as embedding vectors. This approach resolves the necessity of camera pose in vanilla 3DGS and enhances multi-view 3D structural consistency in dynamic scenes by utilizing transformed primitives. Additionally, a high-frequency filter is introduced to eliminate the artifacts generated during the transformation. The proposed SCIGS is the first to reconstruct a 3D explicit scene from a single compressed image, extending its application to dynamic 3D scenes. Experiments on both static and dynamic scenes demonstrate that SCIGS not only enhances SCI decoding but also outperforms current state-of-the-art methods in reconstructing dynamic 3D scenes from a single compressed image. The code will be made available upon publication.