Fast and accurate neural reflectance transformation imaging through knowledge distillation

📄 arXiv: 2510.24486v1 📥 PDF

作者: Tinsae G. Dulecha, Leonardo Righetto, Ruggero Pintus, Enrico Gobbetti, Andrea Giachetti

分类: cs.CV, cs.GR

发布日期: 2025-10-28

备注: 18 pages

💡 一句话要点

提出DisK-NeuralRTI，通过知识蒸馏加速高精度神经反射变换成像。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 反射变换成像 神经渲染 知识蒸馏 计算加速 表面细节增强

📋 核心要点

  1. 传统RTI方法难以准确捕捉复杂反射场，尤其是在高反射或阴影区域，导致伪影。
  2. 论文提出DisK-NeuralRTI，利用知识蒸馏将大型NeuralRTI网络的知识转移到小型网络，降低计算成本。
  3. 实验表明，DisK-NeuralRTI在保持高渲染质量的同时，显著降低了计算复杂度，实现了快速反射变换成像。

📝 摘要（中文）

反射变换成像(RTI)通过交互式重光照增强表面细节，仅需少量固定相机和可变光照的照片，因此被广泛应用于表面视觉分析。传统方法如多项式纹理贴图(PTM)和半球谐波(HSH)紧凑快速，但难以用少量像素系数和固定基精确捕捉复杂反射场，导致伪影，尤其是在高反射或阴影区域。NeuralRTI利用神经自编码器学习紧凑函数，更好地近似局部反射与光照方向的关系，在可比存储成本下产生更高质量的结果。然而，由于它使用具有许多参数的自定义解码器网络进行交互式重光照，渲染步骤计算量大，对于有限硬件上的大型图像，无法实现全分辨率渲染。直接训练较小网络的早期尝试未能产生有效结果。因此，我们提出了一种基于知识蒸馏(DisK-NeuralRTI)的新颖解决方案来降低其计算成本。

🔬 方法详解

问题定义：论文旨在解决NeuralRTI方法计算复杂度高的问题。NeuralRTI虽然能生成高质量的反射变换图像，但其解码器网络参数众多，导致交互式重光照渲染速度慢，难以在资源受限的硬件上进行全分辨率渲染。直接训练小型网络又难以达到理想的渲染质量。

核心思路：论文的核心思路是利用知识蒸馏技术，将训练好的大型NeuralRTI网络（教师网络）的知识迁移到小型网络（学生网络）。学生网络通过学习教师网络的输出，从而在参数量较少的情况下，也能达到接近教师网络的性能，实现加速渲染的目的。

技术框架：DisK-NeuralRTI的整体框架包含两个阶段：首先，训练一个大型的NeuralRTI网络作为教师网络。然后，使用知识蒸馏技术训练一个小型网络作为学生网络。学生网络以光照方向作为输入，预测像素的颜色值。训练过程中，学生网络不仅要学习真实图像的颜色值，还要学习教师网络的输出，从而获得教师网络的知识。

关键创新：该方法最重要的创新点在于将知识蒸馏技术应用于神经反射变换成像领域，解决了NeuralRTI计算复杂度高的问题。与直接训练小型网络相比，知识蒸馏能够更好地保留大型网络的渲染质量，从而在保证渲染质量的前提下，显著降低计算成本。

关键设计：论文中，教师网络采用标准的NeuralRTI网络结构。学生网络采用参数量更小的网络结构，例如减少网络层数或神经元数量。损失函数包含两部分：一部分是学生网络预测颜色值与真实颜色值之间的损失，另一部分是学生网络预测颜色值与教师网络预测颜色值之间的损失。通过调整两部分损失的权重，可以控制学生网络对教师网络知识的学习程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DisK-NeuralRTI在保持与NeuralRTI相近渲染质量的同时，显著降低了计算时间。具体来说，DisK-NeuralRTI的渲染速度比NeuralRTI快数倍，使得在资源受限的硬件上进行全分辨率交互式重光照成为可能。同时，DisK-NeuralRTI的存储成本也得到了有效控制。

🎯 应用场景

该研究成果可广泛应用于文化遗产保护、数字博物馆、游戏开发、虚拟现实等领域。通过快速且高质量的反射变换成像，可以更好地展示文物表面的细节，提升用户在虚拟环境中的沉浸感，并为游戏开发者提供更高效的材质编辑工具。

📄 摘要（原文）

Reflectance Transformation Imaging (RTI) is very popular for its ability to visually analyze surfaces by enhancing surface details through interactive relighting, starting from only a few tens of photographs taken with a fixed camera and variable illumination. Traditional methods like Polynomial Texture Maps (PTM) and Hemispherical Harmonics (HSH) are compact and fast, but struggle to accurately capture complex reflectance fields using few per-pixel coefficients and fixed bases, leading to artifacts, especially in highly reflective or shadowed areas. The NeuralRTI approach, which exploits a neural autoencoder to learn a compact function that better approximates the local reflectance as a function of light directions, has been shown to produce superior quality at comparable storage cost. However, as it performs interactive relighting with custom decoder networks with many parameters, the rendering step is computationally expensive and not feasible at full resolution for large images on limited hardware. Earlier attempts to reduce costs by directly training smaller networks have failed to produce valid results. For this reason, we propose to reduce its computational cost through a novel solution based on Knowledge Distillation (DisK-NeuralRTI). ...