DeMapGS: Simultaneous Mesh Deformation and Surface Attribute Mapping via Gaussian Splatting
作者: Shuyi Zhou, Shengze Zhong, Kenshi Takayama, Takafumi Taketomi, Takeshi Oishi
分类: cs.GR
发布日期: 2025-12-11
备注: Project page see https://shuyizhou495.github.io/DeMapGS-project-page/
💡 一句话要点
DeMapGS：通过高斯溅射实现同步网格变形和表面属性映射
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯溅射 网格变形 表面属性映射 三维重建 可变形模板
📋 核心要点
- 现有高斯溅射方法缺乏对拓扑结构的约束，导致编辑困难和跨对象操作受限。
- DeMapGS将高斯溅射点锚定到可变形网格，实现表面属性和网格变形的联合优化。
- DeMapGS在网格重建质量上达到SOTA，并支持编辑和跨对象操作等下游应用。
📝 摘要（中文）
我们提出了DeMapGS，一个结构化的高斯溅射框架，它联合优化可变形表面和表面附着的2D高斯溅射。通过将splat锚定到可变形的模板网格，我们的方法克服了拓扑不一致性，并增强了编辑灵活性，解决了先前高斯溅射方法将点独立对待的局限性。我们方法中的统一表示支持提取高保真漫反射、法线和位移贴图，使重建的网格能够继承高斯溅射的逼真渲染质量。为了支持鲁棒的优化，我们引入了一种梯度扩散策略，该策略将监督传播到整个表面，以及一种交替的2D/3D渲染方案来处理凹区域。实验表明，DeMapGS实现了最先进的网格重建质量，并通过共享参数化表面实现了高斯溅射的下游应用，例如编辑和跨对象操作。
🔬 方法详解
问题定义：现有基于高斯溅射的三维重建方法通常将高斯点云视为独立的个体进行优化，缺乏对物体拓扑结构的约束，这导致重建结果在编辑和跨对象操作时容易出现不一致性。此外，如何从高斯溅射中提取高质量的表面属性（如法线贴图、位移贴图）也是一个挑战。
核心思路：DeMapGS的核心思路是将高斯溅射点云与一个可变形的模板网格关联起来。通过将每个高斯溅射点“锚定”到网格表面，可以利用网格的拓扑结构来约束高斯点的运动，从而保证重建结果的拓扑一致性。同时，通过优化网格的变形和表面属性，可以从高斯溅射中提取高质量的贴图信息。
技术框架：DeMapGS的整体框架包含以下几个主要步骤：1) 初始化一个模板网格；2) 将高斯溅射点云初始化并附着到模板网格表面；3) 联合优化网格的变形、高斯溅射点的参数以及表面属性（漫反射、法线、位移）；4) 从优化后的网格和高斯溅射中提取最终的表面属性贴图。为了处理凹区域，采用了交替的2D/3D渲染方案。
关键创新：DeMapGS的关键创新在于将高斯溅射与可变形网格相结合，实现了一种结构化的高斯溅射表示。这种表示方法不仅克服了传统高斯溅射方法中拓扑不一致的问题，还使得从高斯溅射中提取高质量的表面属性贴图成为可能。此外，梯度扩散策略和交替2D/3D渲染方案也提高了优化的鲁棒性。
关键设计：为了实现鲁棒的优化，DeMapGS引入了梯度扩散策略，该策略通过网格表面传播监督信号，从而更好地约束高斯点的运动。此外，为了处理凹区域的遮挡问题，采用了交替的2D/3D渲染方案。具体来说，在2D渲染阶段，使用正交投影来渲染高斯溅射，而在3D渲染阶段，使用透视投影来渲染网格。通过交替使用这两种渲染方式，可以有效地减少遮挡的影响。
🖼️ 关键图片
📊 实验亮点
DeMapGS在网格重建质量上取得了显著的提升，实验结果表明，DeMapGS在多个数据集上均达到了SOTA水平。与现有方法相比，DeMapGS能够生成更准确、更逼真的三维模型，并且能够更好地处理复杂的拓扑结构。此外，DeMapGS还展示了在编辑和跨对象操作方面的优势，例如，可以将一个物体的纹理无缝地转移到另一个物体上。
🎯 应用场景
DeMapGS在三维重建、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于创建高质量的三维模型，并支持对模型进行编辑和跨对象操作。此外，DeMapGS还可以用于生成逼真的渲染效果，提高虚拟现实和游戏的沉浸感。未来，该技术有望应用于数字资产创建、虚拟试穿、远程协作等领域。
📄 摘要（原文）
We propose DeMapGS, a structured Gaussian Splatting framework that jointly optimizes deformable surfaces and surface-attached 2D Gaussian splats. By anchoring splats to a deformable template mesh, our method overcomes topological inconsistencies and enhances editing flexibility, addressing limitations of prior Gaussian Splatting methods that treat points independently. The unified representation in our method supports extraction of high-fidelity diffuse, normal, and displacement maps, enabling the reconstructed mesh to inherit the photorealistic rendering quality of Gaussian Splatting. To support robust optimization, we introduce a gradient diffusion strategy that propagates supervision across the surface, along with an alternating 2D/3D rendering scheme to handle concave regions. Experiments demonstrate that DeMapGS achieves state-of-the-art mesh reconstruction quality and enables downstream applications for Gaussian splats such as editing and cross-object manipulation through a shared parametric surface.