Rasterized Edge Gradients: Handling Discontinuities Differentiably
作者: Stanislav Pidhorskyi, Tomas Simon, Gabriel Schwartz, He Wen, Yaser Sheikh, Jason Saragih
分类: cs.CV, cs.GR
发布日期: 2024-05-03 (更新: 2024-07-24)
💡 一句话要点
提出基于光栅化的可微渲染梯度计算方法，有效处理不连续性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可微渲染 光栅化 梯度计算 不连续性处理 微边缘 三维重建 逆渲染
📋 核心要点
- 现有可微渲染方法在处理光栅化过程中的不连续性时，梯度计算不准确，影响了依赖梯度的应用。
- 论文提出微边缘的概念，将离散的光栅化过程近似为连续可微的过程，从而简化了不连续性处的梯度计算。
- 实验表明，该方法在动态人头重建等任务中，能够有效处理相机图像和分割掩码，提升重建效果。
📝 摘要（中文）
在计算机视觉和图形学中，渲染过程的梯度计算至关重要。然而，由于不连续性和渲染近似，精确计算这些梯度极具挑战性，特别是对于基于表面的表示和基于光栅化的渲染。本文提出了一种新颖的方法，用于计算基于光栅化的可微渲染器中可见性不连续处的梯度。通过精心设计的近似策略，该方法优雅地简化了传统上复杂的问题，从而实现了一种直接、有效且高性能的解决方案。我们引入了微边缘这一新概念，使我们能够将光栅化图像视为与固有的不可微离散像素光栅化对齐的可微连续过程的结果。该技术消除了对渲染近似或其他前向传递修改的必要性，保持了渲染图像的完整性，使其适用于光栅化掩码、深度和法线图像，在这些图像中滤波是禁止的。利用微边缘简化了不连续处的梯度解释，并能够处理几何体相交，提供了优于现有技术的优势。我们在动态人头场景重建中展示了我们的方法，证明了对相机图像和分割掩码的有效处理。
🔬 方法详解
问题定义：论文旨在解决基于光栅化的可微渲染中，由于可见性不连续性导致梯度计算不准确的问题。现有方法通常依赖于渲染近似或修改前向过程，这会影响渲染图像的质量，尤其是在需要精确的掩码、深度或法线信息时。此外，处理几何体相交也是一个挑战。
核心思路：核心思路是将离散的光栅化过程视为一个连续可微过程的近似。通过引入“微边缘”的概念，将像素边缘视为可微的过渡区域，从而可以在不连续点处计算梯度。这种方法避免了对前向渲染过程的修改，保持了渲染结果的完整性。
技术框架：该方法主要包含以下几个阶段：1) 使用标准光栅化器进行前向渲染，生成图像（如深度图、法线图、分割掩码等）；2) 在光栅化图像上定义微边缘，将像素边缘视为一个连续的过渡区域；3) 基于微边缘，计算渲染结果关于输入参数的梯度；4) 利用计算得到的梯度进行优化或反向传播。
关键创新：关键创新在于“微边缘”的概念，它允许将离散的光栅化过程近似为连续可微的过程。与现有方法相比，该方法不需要对前向渲染过程进行近似或修改，从而保持了渲染图像的完整性。此外，该方法能够处理几何体相交，这在现有方法中通常是一个难题。
关键设计：微边缘的具体实现方式未知，论文中可能涉及微边缘的宽度、形状以及梯度计算方式等细节。损失函数的设计取决于具体的应用场景，例如在人头重建中，可能使用图像重建损失、分割损失等。网络结构方面，该方法可以与现有的可微渲染框架结合使用，无需特定的网络结构。
🖼️ 关键图片
📊 实验亮点
该方法在动态人头重建任务中表现出色，能够有效处理相机图像和分割掩码，实现高质量的重建结果。与现有方法相比，该方法在处理不连续性方面具有优势，能够生成更准确的梯度信息，从而提升重建效果。具体的性能数据和对比基线未知。
🎯 应用场景
该研究成果可广泛应用于需要可微渲染的计算机视觉和图形学任务中，例如：逆渲染、三维重建、姿态估计、材质反演、光照估计等。尤其是在需要精确的渲染结果（如掩码、深度、法线）的应用中，该方法具有重要的实际价值。未来，该方法有望推动相关领域的发展，例如：高质量的三维内容生成、逼真的虚拟现实/增强现实体验等。
📄 摘要（原文）
Computing the gradients of a rendering process is paramount for diverse applications in computer vision and graphics. However, accurate computation of these gradients is challenging due to discontinuities and rendering approximations, particularly for surface-based representations and rasterization-based rendering. We present a novel method for computing gradients at visibility discontinuities for rasterization-based differentiable renderers. Our method elegantly simplifies the traditionally complex problem through a carefully designed approximation strategy, allowing for a straightforward, effective, and performant solution. We introduce a novel concept of micro-edges, which allows us to treat the rasterized images as outcomes of a differentiable, continuous process aligned with the inherently non-differentiable, discrete-pixel rasterization. This technique eliminates the necessity for rendering approximations or other modifications to the forward pass, preserving the integrity of the rendered image, which makes it applicable to rasterized masks, depth, and normals images where filtering is prohibitive. Utilizing micro-edges simplifies gradient interpretation at discontinuities and enables handling of geometry intersections, offering an advantage over the prior art. We showcase our method in dynamic human head scene reconstruction, demonstrating effective handling of camera images and segmentation masks.