Filtering After Shading With Stochastic Texture Filtering

📄 arXiv: 2407.06107v1 📥 PDF

作者: Matt Pharr, Bartlomiej Wronski, Marco Salvi, Marcos Fajardo

分类: cs.CV, cs.GR

发布日期: 2024-05-14

备注: arXiv admin note: substantial text overlap with arXiv:2305.05810

期刊: Proceedings of the ACM on Computer Graphics and Interactive Techniques (2024), Volume 7, Issue 1, Article No:14, pp 1-20

DOI: 10.1145/3651293

💡 一句话要点

提出基于随机纹理滤波的后着色滤波方法，提升渲染图像质量。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 纹理滤波 后着色 随机采样 渲染 光照模型

📋 核心要点

  1. 现有渲染流程通常在BSDF评估前进行纹理滤波，这可能导致图像精度下降。
  2. 论文提出在着色后进行纹理滤波，并采用随机采样方法实现高效滤波。
  3. 实验表明，该方法在实时和离线渲染中均有效，且引入的额外误差可通过降噪或增加采样率来消除。

📝 摘要（中文）

二维纹理贴图和三维体素数组被广泛用于为渲染场景的表面和体积添加丰富的细节，而滤波纹理查找是生成高质量图像不可或缺的一部分。我们证明，在着色计算之后应用纹理滤波通常比在BSDF评估之前滤波纹理（目前的实践）能产生更准确的图像。这些好处不仅仅是理论上的，在常见情况下也很明显。我们展示了通过使用纹理滤波的随机采样，可以实现实用且高效的后着色滤波。随机纹理滤波提供了额外的好处，包括高质量纹理滤波器的有效实现，以及对存储在压缩和稀疏数据结构（包括神经表示）中的纹理进行有效滤波。我们展示了在实时和离线渲染中的应用，并表明来自随机滤波的额外误差是最小的。我们发现，这种误差可以通过时空降噪或适度的像素采样率得到很好的处理。

🔬 方法详解

问题定义：传统渲染管线通常在光照计算（BSDF评估）之前对纹理进行滤波。这种做法忽略了光照计算对纹理的影响，导致渲染结果不准确，尤其是在复杂光照条件下。现有方法难以在着色后进行高效的纹理滤波，因为计算量会显著增加。

核心思路：论文的核心思路是在着色计算之后应用纹理滤波。为了解决计算效率问题，论文引入了随机纹理滤波，通过对纹理滤波器进行随机采样，降低计算复杂度，从而实现高效的后着色滤波。这种方法允许在考虑光照影响的情况下进行纹理滤波，从而提高渲染精度。

技术框架：该方法主要包含以下几个阶段：1. 对场景进行初步渲染，得到未经滤波的着色结果。2. 对纹理滤波器进行随机采样，生成多个采样点。3. 在每个采样点上进行纹理查找，获取纹理值。4. 将采样得到的纹理值进行加权平均，得到最终的滤波结果。5. 将滤波后的纹理值应用于着色结果，得到最终渲染图像。

关键创新：该方法最重要的创新点在于提出了基于随机采样的后着色纹理滤波。与传统的预滤波方法相比，该方法能够更准确地考虑光照对纹理的影响。与传统的后滤波方法相比，该方法通过随机采样显著降低了计算复杂度，使其在实际应用中可行。

关键设计：论文的关键设计包括：1. 随机采样策略：如何选择合适的采样点，以保证滤波结果的准确性和效率。2. 权重函数：如何对采样得到的纹理值进行加权平均，以减少采样带来的误差。3. 滤波器选择：选择合适的纹理滤波器，以满足不同应用场景的需求。论文中使用了多种滤波器，并针对不同的应用场景进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与传统的预滤波方法相比，该方法能够显著提高渲染图像的精度，尤其是在复杂光照条件下。同时，随机纹理滤波引入的额外误差可以通过时空降噪或适度的像素采样率得到有效控制。该方法在实时和离线渲染中均表现出良好的性能，证明了其在实际应用中的可行性。

🎯 应用场景

该研究成果可应用于各种渲染场景，包括电影特效、游戏开发、建筑可视化等。通过提高渲染图像的精度，可以提升视觉体验，使渲染结果更加逼真。此外，该方法对压缩和稀疏数据结构（包括神经表示）中的纹理进行有效滤波，为基于AI的渲染技术提供了新的思路。

📄 摘要（原文）

2D texture maps and 3D voxel arrays are widely used to add rich detail to the surfaces and volumes of rendered scenes, and filtered texture lookups are integral to producing high-quality imagery. We show that applying the texture filter after evaluating shading generally gives more accurate imagery than filtering textures before BSDF evaluation, as is current practice. These benefits are not merely theoretical, but are apparent in common cases. We demonstrate that practical and efficient filtering after shading is possible through the use of stochastic sampling of texture filters. Stochastic texture filtering offers additional benefits, including efficient implementation of high-quality texture filters and efficient filtering of textures stored in compressed and sparse data structures, including neural representations. We demonstrate applications in both real-time and offline rendering and show that the additional error from stochastic filtering is minimal. We find that this error is handled well by either spatiotemporal denoising or moderate pixel sampling rates.