Triangle Splatting SLAM

📄 arXiv: 2605.31419v1 📥 PDF

作者: Nicholas Fry, Eric Dexheimer, Kirill Mazur, Paul H. J. Kelly, Andrew J. Davison

分类: cs.CV, cs.RO

发布日期: 2026-05-29

备注: 26 pages, 11 figures

💡 一句话要点

提出基于可微三角形splatting的稠密RGB-D SLAM系统，实现实时网格重建与编辑。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM 三角形Splatting 可微渲染 稠密重建 网格生成 在线编辑 RGB-D 几何建模

📋 核心要点

  1. 现有稠密SLAM方法难以兼顾高精度重建和对下游任务的友好性，例如网格编辑和物理仿真。
  2. 该论文提出使用可微三角形splatting作为地图表示，通过在线可微渲染优化三角形汤，实现高精度重建。
  3. 实验表明，该方法在几何精度上优于基线，同时实现了在线网格编辑等功能，具有实际应用价值。

📝 摘要（中文）

本文提出了一种使用可微三角形作为3D地图表示的稠密RGB-D SLAM系统。虽然3D高斯Splatting已经成为新视角合成的主流方法，但三角形仍然是传统渲染硬件、游戏引擎以及需要显式几何体的下游任务（如仿真、碰撞和编辑）的标准图元。最近的离线方法已经证明，可以通过在一组已姿态图像上进行Delaunay三角剖分，将非结构化的“三角形汤”优化为逼真的网格。在此基础上，我们提出了第一个使用三角形Splatting的稠密SLAM系统，通过在线可微渲染三角形汤来执行跟踪和建图。该地图可以通过受限的Delaunay三角剖分即时转换为连接的网格，从而实现新的在线功能，如网格变形和碰撞检测。在Replica和TUM-RGBD数据集上，我们的系统在3D几何体方面优于基线，匹配了相机跟踪精度，并实现了基于在线网格的场景编辑。

🔬 方法详解

问题定义：现有的稠密SLAM系统，例如基于体素或TSDF的方法，虽然能够实现高精度的三维重建，但在直接生成可用于下游任务（如物理仿真、碰撞检测和场景编辑）的显式几何网格方面存在局限性。另一方面，基于神经渲染的方法，如3D高斯Splatting，虽然在新视角合成方面表现出色，但其隐式表示难以直接转换为显式几何结构。因此，如何构建一个既能实现高精度重建，又能方便生成可编辑、可交互的显式几何网格的稠密SLAM系统是一个挑战。

核心思路：该论文的核心思路是利用可微三角形splatting作为SLAM系统的地图表示。通过将场景表示为一组无结构的三角形（三角形汤），并使用可微渲染技术对这些三角形进行优化，可以实现高精度的三维重建。同时，由于三角形是显式的几何图元，因此可以直接用于生成网格，并支持在线的网格编辑和碰撞检测等功能。

技术框架：该系统主要包含以下几个模块：1) 跟踪模块：利用可微渲染技术，将当前帧的图像与已有的三角形地图进行比较，优化相机位姿，实现精确的相机跟踪。2) 建图模块：根据新的相机位姿，将新的图像信息融入到三角形地图中，不断完善场景的重建。3) 网格生成模块：利用受限的Delaunay三角剖分算法，将三角形汤转换为连接的网格，用于后续的场景编辑和碰撞检测等任务。

关键创新：该论文的关键创新在于将可微三角形splatting引入到稠密SLAM系统中，实现了在线的、可微的三角形地图优化。与传统的基于体素或TSDF的SLAM系统相比，该方法能够直接生成显式的几何网格，方便下游任务的使用。与基于神经渲染的方法相比，该方法能够实现实时的地图更新和编辑。

关键设计：在可微渲染方面，论文采用了类似于3D高斯Splatting的渲染流程，但将高斯分布替换为三角形。损失函数主要包括光度损失和几何损失，用于约束三角形的形状和位置。在网格生成方面，论文采用了受限的Delaunay三角剖分算法，以保证生成的网格的质量和拓扑结构。具体的参数设置和损失函数权重等细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该系统在Replica和TUM-RGBD数据集上进行了评估，实验结果表明，该系统在3D几何精度方面优于基线方法，并且能够匹配基线方法的相机跟踪精度。此外，该系统还展示了在线网格编辑的能力，例如可以实时地对场景中的物体进行移动和变形。具体的数据指标和对比结果可以在论文的实验部分找到。

🎯 应用场景

该研究成果可应用于机器人导航、增强现实、虚拟现实、三维场景重建、游戏开发等领域。例如，机器人可以利用该系统进行环境感知和地图构建，从而实现自主导航；AR/VR应用可以利用该系统进行实时场景重建，从而实现更逼真的沉浸式体验；游戏开发者可以利用该系统快速创建和编辑游戏场景。

📄 摘要（原文）

We present a dense RGB-D SLAM system using differentiable triangles as the 3D map representation. While 3D Gaussian Splatting has emerged as the leading method for novel-view synthesis, triangles remain the standard primitive for traditional rendering hardware, game engines, and downstream tasks requiring explicit geometry such as simulation, collision, and editing. Recent offline methods have demonstrated that an unstructured 'triangle soup' can be optimised into a photorealistic mesh via Delaunay triangulation across a set of posed images. Building upon this insight, we present the first dense SLAM system to employ Triangle Splatting to perform both tracking and mapping through online differentiable rendering of a triangle soup. The map can be converted into a connected mesh on-the-fly via restricted Delaunay triangulation, enabling new online capabilities such as mesh deformation and collision checking. On Replica and TUM-RGBD, our system outperforms baselines on 3D geometry, matches the camera-tracking accuracy, and enables online mesh-based scene editing.