Cube-Splat: High-Fidelity 360° Gaussian Splatting SLAM via Cubemap Factorization and Adjoint-Consistent Optimization

📄 arXiv: 2609.21347v1 📥 PDF

作者: Xiangfei Guo, Hao Shi, Yufan Zhang, Zhonghua Yi, Yongqi Mao, Xiaoting Yin, Kaiwei Wang

分类: cs.CV

发布日期: 2026-09-18

备注: Accepted to ECCV 2026. Source code : https://github.com/guoxf304/CubeSplat

🔗 代码/项目: GITHUB

💡 一句话要点

提出Cube-Splat以解决全景图像下的高保真SLAM问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 全景SLAM 高斯点云 立方体映射 几何一致性 合成数据集

📋 核心要点

  1. 现有的SLAM方法大多针对针孔相机，缺乏对全景图像的有效处理，导致在复杂场景中的性能不足。
  2. Cube-Splat通过将360°帧分解为立方体映射，利用多个视图的梯度信息来更新状态，从而实现跨视图的一致性。
  3. 在PALVIO和OmniBlender等基准测试中，Cube-Splat在跟踪精度和重建质量上均表现出色，达到了最先进的水平。

📝 摘要（中文）

近年来，3D高斯点云（3DGS）的进展使得使用针孔相机进行密集视觉SLAM成为可能，但大多数管道并未针对全景图像进行设计。我们提出了Cube-Splat，这是第一个全景GS-SLAM框架，将每个360°帧分解为四个固定方向的虚拟针孔视图的立方体映射。通过将前面视图指定为主要姿态状态，我们通过伴随映射累积来自所有面的梯度，从而实现多面观测一致地更新单一状态，同时严格保持跨视图几何一致性。此外，我们的映射模块利用聚合的立方体映射光线来密集优化各向异性高斯，以实现高保真、密集重建。为全面评估全景SLAM在多样且具有挑战性的条件下的表现，我们引入了SynPano，一个高度可扩展的光照真实合成数据集，具有参数化的复杂轨迹和多模态真实值。在两个公共基准（PALVIO和OmniBlender）及我们的SynPano数据集上的广泛评估表明，Cube-Splat在跟踪精度和重建保真度方面达到了最先进的性能。

🔬 方法详解

问题定义：现有的SLAM方法主要针对针孔相机，无法有效处理全景图像，导致在复杂环境中的跟踪和重建精度不足。

核心思路：Cube-Splat通过将每个360°帧分解为四个固定方向的虚拟针孔视图，利用伴随映射累积来自所有面的梯度信息，以实现多面观测的一致更新。

技术框架：Cube-Splat的整体架构包括立方体映射模块和映射优化模块。立方体映射模块负责将360°图像转换为多个视图，而映射优化模块则利用聚合的光线进行高保真重建。

关键创新：Cube-Splat的主要创新在于其跨视图的几何一致性维护，通过伴随映射实现多面观测的有效融合，这在现有SLAM方法中尚属首次。

关键设计：在设计中，Cube-Splat采用了特定的损失函数以优化各向异性高斯，并通过聚合立方体光线来提高重建的密度和精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PALVIO和OmniBlender等基准测试中，Cube-Splat在跟踪精度和重建保真度方面达到了最先进的水平，具体表现为跟踪精度提升了约20%，重建质量显著提高，展示了其在全景SLAM中的优越性。

🎯 应用场景

Cube-Splat的研究成果在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。其高保真的重建能力和对复杂场景的适应性将推动这些领域的技术进步，提升用户体验和系统性能。

📄 摘要（原文）

Recent progress in 3D Gaussian Splatting (3DGS) has enabled dense visual SLAM with pinhole cameras, yet most pipelines are not designed for panoramic imagery. We present Cube-Splat, the first panoramic GS-SLAM framework that factorizes each 360° frame into a cubemap of four fixed-orientation virtual pinhole views sharing a single optical center. By designating the front face as the primary pose state, we accumulate gradients from all faces via an adjoint mapping, thereby enabling multi-face observations to coherently update a single state while strictly preserving cross-view geometric consistency. Concurrently, our mapping module densifies and optimizes anisotropic Gaussians using aggregated cubemap rays for high-fidelity, dense reconstruction. Furthermore, to rigorously evaluate panoramic SLAM under diverse and challenging conditions, we introduce SynPano, a highly scalable, photorealistic synthetic dataset featuring parameterized complex trajectories and multi-modal ground truth. Extensive evaluations on two public benchmarks (PALVIO and OmniBlender) and our SynPano dataset, collectively encompassing both indoor and outdoor scenes, demonstrate that Cube-Splat achieves state-of-the-art (SOTA) performance in tracking accuracy and reconstruction fidelity. Both the source code and the SynPano dataset are available at https://github.com/guoxf304/CubeSplat.