UniMGS: Unifying Mesh and 3D Gaussian Splatting with Single-Pass Rasterization and Proxy-Based Deformation

📄 arXiv: 2601.19233v1 📥 PDF

作者: Zeyu Xiao, Mingyang Sun, Yimin Cong, Lintao Wang, Dongliang Kou, Zhenyi Wu, Dingkang Yang, Peng Zhai, Zeyu Wang, Lihua Zhang

分类: cs.GR

发布日期: 2026-01-27

备注: conference

💡 一句话要点

UniMGS：提出统一框架，单通道光栅化网格与3D高斯，实现联合渲染与形变。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯溅射 网格渲染 统一渲染框架 单通道光栅化 反走样 形变 具身智能 虚拟现实

📋 核心要点

  1. 现有方法分别渲染网格和3DGS，难以处理遮挡和透明度，且形变3DGS易受代理网格质量影响，产生视觉伪影。
  2. UniMGS的核心思想是在单通道中通过反走样α混合融合网格和高斯片段颜色，并采用基于代理网格的绑定策略优化3DGS形变。
  3. UniMGS实现了网格和3DGS的统一渲染和形变，提升了视觉效果，并为具身智能、虚拟现实和游戏等领域提供了新可能。

📝 摘要（中文）

本文提出UniMGS，这是一个统一的框架，用于单通道反走样地光栅化网格和3D高斯溅射(3DGS)，并采用基于代理网格的新型绑定策略进行3DGS形变。现有研究由于表示和渲染流程的差异，分别渲染网格和3DGS，难以准确处理遮挡和透明度。此外，形变的3DGS由于对代理网格的拓扑质量敏感，仍然存在视觉伪影。UniMGS通过在单通道中进行反走样α混合，融合三角形和高斯片段的颜色，从而实现视觉上连贯的结果，并精确处理遮挡和透明度。为了改善形变3DGS的视觉效果，我们的以高斯为中心的绑定策略采用代理网格，并将高斯在空间上与网格面相关联，显著减少了渲染伪影。UniMGS使得由网格或3DGS表示的3D对象能够在统一框架内进行可视化和操作，为具身智能、虚拟现实和游戏开辟了新的可能性。我们将发布源代码以促进未来的研究。

🔬 方法详解

问题定义：现有方法在渲染和形变网格与3D高斯溅射(3DGS)时，由于表示方式和渲染管线的差异，通常是独立处理的。这导致难以准确处理两者之间的遮挡和透明度关系，尤其是在需要联合渲染的场景下。此外，对于3DGS的形变，现有方法依赖于代理网格，但形变后的3DGS对代理网格的拓扑质量非常敏感，容易产生视觉伪影，影响最终的渲染效果。

核心思路：UniMGS的核心思路是将网格和3DGS的渲染过程统一到一个单通道的光栅化流程中，通过反走样α混合来融合两种表示的颜色，从而实现精确的遮挡和透明度处理。同时，为了解决3DGS形变中的视觉伪影问题，UniMGS提出了一种以高斯为中心的绑定策略，将高斯与代理网格的面进行空间关联，从而减少形变过程中产生的误差。

技术框架：UniMGS的整体框架包含两个主要组成部分：统一的渲染管线和基于代理网格的3DGS形变策略。统一渲染管线负责将网格和3DGS数据输入到单通道光栅化器中，并进行反走样α混合。3DGS形变策略则利用代理网格，通过空间关联将高斯与网格面绑定，实现更平滑和自然的形变效果。

关键创新：UniMGS的关键创新在于其统一的渲染框架和以高斯为中心的绑定策略。统一渲染框架首次实现了网格和3DGS的单通道光栅化，解决了两者联合渲染中的遮挡和透明度问题。以高斯为中心的绑定策略则通过空间关联减少了3DGS形变中的视觉伪影，提高了渲染质量。

关键设计：在统一渲染管线中，关键设计在于反走样α混合的权重计算，需要根据网格和高斯片段的深度、法线等信息进行调整，以实现最佳的融合效果。在以高斯为中心的绑定策略中，关键设计在于如何确定高斯与网格面的空间关联，通常采用最近邻搜索或加权平均等方法。此外，损失函数的设计也至关重要，需要考虑形变的平滑性、保真度以及与代理网格的匹配程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的UniMGS框架在联合渲染和形变网格与3DGS方面取得了显著成果。通过单通道光栅化和反走样α混合，实现了精确的遮挡和透明度处理，视觉效果明显优于现有方法。此外，以高斯为中心的绑定策略有效减少了3DGS形变中的视觉伪影，提高了渲染质量。具体性能数据和对比基线将在后续发布的源代码中提供。

🎯 应用场景

UniMGS具有广泛的应用前景，尤其是在需要联合渲染和形变网格与3DGS的场景中。例如，在具身智能领域，可以用于创建更逼真的虚拟环境和交互对象；在虚拟现实和增强现实领域，可以提升沉浸感和交互体验；在游戏开发领域，可以简化资源创建流程，并提高渲染效率。此外，UniMGS还可以应用于动画制作、工业设计等领域，为3D内容的创作和编辑提供更灵活和高效的工具。

📄 摘要（原文）

Joint rendering and deformation of mesh and 3D Gaussian Splatting (3DGS) have significant value as both representa tions offer complementary advantages for graphics applica tions. However, due to differences in representation and ren dering pipelines, existing studies render meshes and 3DGS separately, making it difficult to accurately handle occlusions and transparency. Moreover, the deformed 3DGS still suffers from visual artifacts due to the sensitivity to the topology quality of the proxy mesh. These issues pose serious obsta cles to the joint use of 3DGS and meshes, making it diffi cult to adapt 3DGS to conventional mesh-oriented graphics pipelines. We propose UniMGS, the first unified framework for rasterizing mesh and 3DGS in a single-pass anti-aliased manner, with a novel binding strategy for 3DGS deformation based on proxy mesh. Our key insight is to blend the col ors of both triangle and Gaussian fragments by anti-aliased α-blending in a single pass, achieving visually coherent re sults with precise handling of occlusion and transparency. To improve the visual appearance of the deformed 3DGS, our Gaussian-centric binding strategy employs a proxy mesh and spatially associates Gaussians with the mesh faces, signifi cantly reducing rendering artifacts. With these two compo nents, UniMGS enables the visualization and manipulation of 3D objects represented by mesh or 3DGS within a unified framework, opening up new possibilities in embodied AI, vir tual reality, and gaming. We will release our source code to facilitate future research.