UTrice: Unifying Primitives in Differentiable Ray Tracing and Rasterization via Triangles for Particle-Based 3D Scenes
作者: Changhe Liu, Ehsan Javanmardi, Naren Bao, Alex Orsholits, Manabu Tsukada
分类: cs.CV, cs.GR
发布日期: 2025-12-04
备注: 13 pages, 10 figures, submitted to CVPR2026
💡 一句话要点
UTrice：通过三角形统一可微光线追踪与栅格化，用于基于粒子的3D场景渲染
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光线追踪 栅格化 可微渲染 新视角合成 三角形网格 高斯粒子 实时渲染
📋 核心要点
- 现有基于高斯粒子的光线追踪方法依赖代理几何体，导致复杂的网格构建和高昂的相交测试。
- UTrice直接将三角形作为渲染图元，无需代理几何体，实现可微光线追踪，提升渲染效率。
- 实验表明，UTrice在保持实时性能的同时，显著提升渲染质量，并能与栅格化方法优化后的三角形直接兼容。
📝 摘要（中文）
本文提出了一种可微的、基于三角形的光线追踪渲染管线，用于直接渲染基于高斯粒子的3D场景。现有方法通常需要通过代理几何体来追踪高斯粒子，这需要构建复杂的中间网格并执行代价高昂的相交测试。本文提出的方法直接将三角形作为渲染图元，无需依赖任何代理几何体。实验结果表明，该方法在保持实时渲染性能的同时，实现了比现有光线追踪方法更高的渲染质量。此外，该管线可以直接渲染由基于栅格化的Triangle Splatting方法优化的三角形，从而统一了新视角合成中使用的图元。
🔬 方法详解
问题定义：现有基于高斯粒子的渲染方法，特别是用于新视角合成的光线追踪方法，通常需要使用代理几何体（例如中间网格）来近似表示高斯粒子。这导致两个主要问题：一是需要额外的步骤来构建这些代理几何体，增加了计算复杂度；二是光线与代理几何体的相交测试本身也是一个计算密集型操作，影响了渲染效率。此外，高斯粒子本身并不适合作为光线追踪和栅格化的统一图元，限制了两种渲染方式的结合。
核心思路：UTrice的核心思路是直接将三角形作为光线追踪的渲染图元，避免使用任何代理几何体。通过直接追踪光线与三角形的交点，可以消除构建中间网格的步骤，并简化相交测试。这种方法使得光线追踪过程更加高效，并且能够直接利用基于三角形的栅格化方法（如Triangle Splatting）的优化结果。
技术框架：UTrice的整体框架是一个可微的光线追踪管线，它接收三角形网格作为输入，并输出渲染图像。该管线包含以下主要阶段：1) 光线生成：根据相机参数生成光线；2) 光线-三角形相交测试：计算每条光线与场景中三角形的交点；3) 着色：根据光照模型和材质属性，计算交点处的颜色；4) 图像合成：将所有交点处的颜色合成为最终图像。整个管线是可微的，这意味着可以利用梯度下降等优化算法来优化三角形网格的形状和材质属性。
关键创新：UTrice最重要的创新在于它统一了光线追踪和栅格化两种渲染方式的图元。通过直接使用三角形作为光线追踪的渲染图元，UTrice可以无缝地集成基于三角形的栅格化方法。这使得可以利用栅格化方法的高效性来预处理或优化场景，然后使用光线追踪方法来生成高质量的渲染图像。与现有方法的本质区别在于，UTrice避免了使用代理几何体，从而简化了渲染流程并提高了渲染效率。
关键设计：UTrice的关键设计包括高效的光线-三角形相交测试算法，以及可微的着色模型。具体来说，可以使用诸如Moller-Trumbore算法等高效的相交测试算法来加速光线与三角形的交点计算。此外，着色模型需要是可微的，以便能够通过反向传播来优化场景的几何形状和材质属性。损失函数的设计也至关重要，可以使用诸如L1损失或感知损失等来衡量渲染图像与目标图像之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UTrice在渲染质量方面显著优于现有的基于代理几何体的光线追踪方法。在保持实时渲染性能的同时，UTrice能够生成更清晰、更逼真的图像。此外，UTrice还能够直接渲染由Triangle Splatting方法优化的三角形，从而实现了新视角合成的端到端优化。
🎯 应用场景
UTrice在三维重建、新视角合成、虚拟现实和增强现实等领域具有广泛的应用前景。它可以用于生成高质量的渲染图像，并支持交互式的场景编辑和优化。通过统一光线追踪和栅格化两种渲染方式，UTrice可以实现更高效、更灵活的渲染管线，从而推动相关领域的发展。
📄 摘要（原文）
Ray tracing 3D Gaussian particles enables realistic effects such as depth of field, refractions, and flexible camera modeling for novel-view synthesis. However, existing methods trace Gaussians through proxy geometry, which requires constructing complex intermediate meshes and performing costly intersection tests. This limitation arises because Gaussian-based particles are not well suited as unified primitives for both ray tracing and rasterization. In this work, we propose a differentiable triangle-based ray tracing pipeline that directly treats triangles as rendering primitives without relying on any proxy geometry. Our results show that the proposed method achieves significantly higher rendering quality than existing ray tracing approaches while maintaining real-time rendering performance. Moreover, our pipeline can directly render triangles optimized by the rasterization-based method Triangle Splatting, thus unifying the primitives used in novel-view synthesis.