Triangle Splatting+: Differentiable Rendering with Opaque Triangles
作者: Jan Held, Renaud Vandeghen, Sanghyun Son, Daniel Rebain, Matheus Gadelha, Yi Zhou, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
分类: cs.CV
发布日期: 2025-09-29
备注: 9 pages, 6 figures, 2 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Triangle Splatting+：提出基于不透明三角形的可微渲染方法，实现高效网格重建与新视角合成。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可微渲染 三角形网格 新视角合成 三维重建 实时渲染
📋 核心要点
- 现有方法难以将高斯基元无缝集成到基于网格的渲染管线中，导致VR应用和实时图形性能受限。
- Triangle Splatting+直接优化三角形，通过可微溅射框架实现高效渲染，并强制三角形不透明性。
- 实验表明，该方法在Mip-NeRF360和Tanks & Temples数据集上取得了领先的网格重建和新视角合成效果。
📝 摘要（中文）
近年来，三维场景重建和新视角合成取得了快速进展。神经辐射场（NeRF）证明了连续体辐射场可以实现高质量的图像合成，但其漫长的训练和渲染时间限制了实用性。3D高斯溅射（3DGS）通过使用数百万个高斯函数表示场景来解决这些问题，从而实现实时渲染和快速优化。然而，高斯基元与VR头显和实时图形应用程序中使用的基于网格的管线不兼容。现有的解决方案试图通过后处理或两阶段管线将高斯函数转换为网格，这增加了复杂性并降低了视觉质量。本文提出了Triangle Splatting+，它在可微溅射框架内直接优化三角形，即计算机图形学的基本基元。我们制定了三角形参数化，以通过共享顶点实现连通性，并设计了一种强制不透明三角形的训练策略。最终输出可立即在标准图形引擎中使用，无需后处理。在Mip-NeRF360和Tanks & Temples数据集上的实验表明，Triangle Splatting+在基于网格的新视角合成中实现了最先进的性能。我们的方法在视觉保真度方面超越了以往的溅射方法，同时保持了高效和快速的训练。此外，生成的半连接网格支持下游应用，如基于物理的模拟或交互式演练。
🔬 方法详解
问题定义：现有基于高斯溅射的方法虽然渲染速度快，但其高斯基元与传统基于网格的渲染管线不兼容，需要额外的后处理步骤才能转换为网格，这会引入误差并降低视觉质量。因此，如何直接优化三角形网格，并实现高效且高质量的可微渲染，是本文要解决的核心问题。
核心思路：本文的核心思路是在可微渲染框架内直接优化三角形网格。通过设计合适的三角形参数化方法，并引入不透明性约束，使得优化后的三角形网格可以直接用于标准图形引擎，无需额外的转换步骤。这种直接优化的方式可以避免信息损失，并提高渲染质量。
技术框架：Triangle Splatting+的整体框架包括以下几个主要步骤：1) 初始化三角形网格；2) 使用可微渲染器将三角形网格渲染成图像；3) 计算渲染图像与目标图像之间的损失；4) 使用梯度下降法优化三角形的顶点位置、颜色和法线等参数。通过迭代优化，最终得到高质量的三角形网格表示。
关键创新：该方法最重要的创新点在于直接在可微渲染框架内优化三角形网格，避免了高斯基元到网格的转换过程。此外，通过设计特定的三角形参数化方法，实现了三角形之间的连通性，从而生成半连接的网格结构。
关键设计：关键设计包括：1) 三角形参数化：使用共享顶点的方式来保证三角形之间的连通性；2) 不透明性约束：通过损失函数强制三角形不透明，避免渲染伪影；3) 可微渲染器：使用可微的三角形渲染器，使得梯度可以反向传播到三角形的参数。
🖼️ 关键图片
📊 实验亮点
Triangle Splatting+在Mip-NeRF360和Tanks & Temples数据集上取得了state-of-the-art的性能。实验结果表明，该方法在视觉保真度方面超越了以往的溅射方法，同时保持了高效和快速的训练。例如，在Mip-NeRF360数据集上，该方法在PSNR、SSIM等指标上均优于其他基于网格的方法。
🎯 应用场景
Triangle Splatting+具有广泛的应用前景，包括VR/AR、游戏开发、机器人导航、三维重建等领域。它可以用于创建高质量的虚拟场景，并支持交互式应用，例如虚拟现实漫游、物理模拟等。该方法生成的网格结构可以直接用于下游任务，例如碰撞检测、路径规划等，具有很高的实用价值。
📄 摘要（原文）
Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.