Near-Light Color Photometric Stereo for mono-Chromaticity non-lambertian surface
作者: Zonglin Li, Jieji Ren, Shuangfan Zhou, Heng Guo, Jinnuo Zhang, Jiang Zhou, Boxin Shi, Zhanyu Ma, Guoying Gu
分类: cs.CV
发布日期: 2026-01-19
备注: 5 pages 7figures
💡 一句话要点
提出单色性非朗伯体近光彩色立体光度方法，实现单图高精度表面重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 彩色立体光度法 神经隐式表示 BRDF建模 单色性假设 表面重建 近光照 非朗伯表面
📋 核心要点
- 传统彩色立体光度法依赖远光照和朗伯反射假设，限制了其在近光照和非朗伯表面重建中的应用。
- 本文提出一种基于神经隐式表示的彩色立体光度法，在单色性假设下，同时建模深度和BRDF，缓解了病态性。
- 通过合成和真实数据实验验证，该方法在近光照和非朗伯表面重建中实现了准确且鲁棒的性能。
📝 摘要（中文）
彩色立体光度法通过单张图像即可实现表面重建，扩展了传统立体光度法对静态场景多图的要求，使其适用于动态场景。然而，现有方法大多假设理想的远距离光照和朗伯反射，忽略了更实际的近距离光照条件和非朗伯表面。为了克服这一局限性，本文提出了一种框架，该框架利用神经隐式表示对深度和BRDF进行建模，并假设单色性（均匀色度和均匀材料），从而缓解了彩色立体光度法固有的病态性，并允许仅从一张图像中恢复详细的表面信息。此外，我们设计了一个紧凑的光学触觉传感器来验证我们的方法。在合成和真实数据集上的实验表明，我们的方法实现了准确而鲁棒的表面重建。
🔬 方法详解
问题定义：彩色立体光度法旨在从单张彩色图像中恢复三维表面形状。然而，当光照距离较近（近光照）且物体表面不满足朗伯反射模型时，传统的彩色立体光度法会失效。现有的方法通常假设远光照和朗伯反射，这在实际应用中并不总是成立，导致重建精度下降。此外，彩色立体光度法本身存在病态性，即存在多个解满足观测数据，使得重建变得困难。
核心思路：本文的核心思路是在单色性假设下，利用神经隐式表示同时建模场景的深度和BRDF。单色性假设指的是物体表面具有均匀的色度和均匀的材料属性。通过引入神经隐式表示，可以将深度和BRDF表示为神经网络的输出，从而利用神经网络的强大表达能力来拟合复杂的表面形状和反射属性。同时，单色性假设可以有效地约束解空间，缓解彩色立体光度法的病态性。
技术框架：该方法的技术框架主要包括以下几个步骤：1）输入单张彩色图像；2）利用神经网络预测场景的深度和BRDF；3）利用渲染方程将深度和BRDF渲染成图像；4）计算渲染图像与输入图像之间的差异，并将其作为损失函数来优化神经网络。通过不断迭代优化，最终得到准确的深度和BRDF估计。
关键创新：该方法最重要的技术创新点在于将神经隐式表示与单色性假设相结合，用于彩色立体光度法的表面重建。与现有方法相比，该方法不需要假设远光照和朗伯反射，可以处理更复杂的近光照和非朗伯表面。此外，该方法通过引入单色性假设，有效地缓解了彩色立体光度法的病态性，提高了重建精度。
关键设计：在网络结构方面，使用了MLP（多层感知机）来表示深度和BRDF。损失函数包括光度损失和正则化项。光度损失用于衡量渲染图像与输入图像之间的差异，正则化项用于约束深度和BRDF的平滑性。在训练过程中，使用了Adam优化器来优化神经网络的参数。此外，还设计了一个紧凑的光学触觉传感器来获取真实数据，用于验证该方法的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在合成和真实数据集上均取得了良好的表面重建效果。与现有方法相比，该方法在近光照和非朗伯表面重建中具有更高的精度和鲁棒性。特别是在真实数据集上，该方法能够有效地处理复杂的表面反射属性和光照条件，实现了高质量的三维表面重建。
🎯 应用场景
该研究成果可应用于机器人触觉感知、工业质检、文物数字化等领域。例如，机器人可以利用该方法感知物体的表面形状和材质，从而实现更精确的抓取和操作。在工业质检中，可以利用该方法检测产品表面的缺陷。在文物数字化中，可以利用该方法对文物进行高精度的三维重建，从而更好地保护和传承文化遗产。
📄 摘要（原文）
Color photometric stereo enables single-shot surface reconstruction, extending conventional photometric stereo that requires multiple images of a static scene under varying illumination to dynamic scenarios. However, most existing approaches assume ideal distant lighting and Lambertian reflectance, leaving more practical near-light conditions and non-Lambertian surfaces underexplored. To overcome this limitation, we propose a framework that leverages neural implicit representations for depth and BRDF modeling under the assumption of mono-chromaticity (uniform chromaticity and homogeneous material), which alleviates the inherent ill-posedness of color photometric stereo and allows for detailed surface recovery from just one image. Furthermore, we design a compact optical tactile sensor to validate our approach. Experiments on both synthetic and real-world datasets demonstrate that our method achieves accurate and robust surface reconstruction.