ICTPolarReal: A Polarized Reflection and Material Dataset of Real World Objects
作者: Jing Yang, Krithika Dharanikota, Emily Jia, Haiwei Chen, Yajie Zhao
分类: cs.CV
发布日期: 2026-03-26
备注: CVPR 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ICTPolarReal数据集，用于提升真实世界物体反射和材质建模的性能。
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 偏振成像 反射建模 材质数据集 逆渲染 光照估计
📋 核心要点
- 现有逆渲染方法依赖于简化光照和有限材质真实感的合成数据集，难以泛化到真实世界图像。
- 论文构建了一个大规模偏振反射数据集，包含真实世界物体在多视角、多光照和偏振条件下的图像。
- 实验表明，使用该数据集训练的模型在材质分离、光照保真度和几何一致性方面均有显著提升。
📝 摘要（中文）
本文介绍了一个大规模的偏振反射和材质数据集ICTPolarReal，该数据集包含真实世界物体的图像，利用配备交叉/平行偏振片的8相机、346光源的光场系统捕获。数据集涵盖218个日常物品，包含多视角、多光照、偏振、反射分离和材质属性五个维度，生成超过120万张高分辨率图像，并提供漫反射-镜面反射分离以及解析推导的漫反射率、镜面反射率和表面法线。通过该数据集，论文训练并评估了最先进的逆向和正向渲染模型，用于本征分解、光照重定向和稀疏视角3D重建，在材质分离、光照保真度和几何一致性方面取得了显著改进。该工作旨在为基于物理的材质理解奠定新的基础，并实现超越合成训练的真实世界泛化。
🔬 方法详解
问题定义：现有逆渲染方法在真实世界场景中表现不佳，主要原因是缺乏真实测量反射数据，过度依赖于合成数据，导致模型无法有效处理真实世界复杂的光照和材质属性。
核心思路：论文的核心思路是构建一个大规模的真实世界物体反射数据集，该数据集包含丰富的偏振信息，能够提供更准确的材质属性和光照信息，从而提升逆渲染模型的性能。通过在真实数据上训练，模型能够更好地泛化到真实世界场景。
技术框架：该数据集的构建主要依赖于一个配备交叉/平行偏振片的8相机、346光源的光场系统。通过控制光源和相机的参数，可以获取不同视角、不同光照条件和不同偏振状态下的图像。然后，利用图像处理和计算机视觉技术，对图像进行漫反射-镜面反射分离，并解析推导漫反射率、镜面反射率和表面法线等信息。
关键创新：该数据集的关键创新在于其规模和真实性。与现有的合成数据集相比，该数据集包含大量真实世界物体的图像，并且考虑了偏振信息，能够更准确地反映真实世界的光照和材质属性。此外，数据集还提供了漫反射-镜面反射分离以及解析推导的材质属性，方便研究人员使用。
关键设计：在数据采集方面，论文精心设计了光场系统的参数，以保证数据的质量和多样性。在数据处理方面，论文采用了先进的图像处理和计算机视觉技术，以准确地分离漫反射和镜面反射分量，并推导材质属性。此外，论文还提供了详细的数据集文档和示例代码，方便研究人员使用。
🖼️ 关键图片
📊 实验亮点
论文使用ICTPolarReal数据集训练了最先进的逆向和正向渲染模型，并在本征分解、光照重定向和稀疏视角3D重建等任务上进行了评估。实验结果表明，使用该数据集训练的模型在材质分离、光照保真度和几何一致性方面均取得了显著改进，证明了该数据集的有效性。
🎯 应用场景
该研究成果可广泛应用于计算机视觉、计算机图形学和机器人等领域。例如，可用于改进图像编辑、虚拟现实、增强现实和机器人视觉等应用中的材质建模和光照估计。此外，该数据集还可以用于训练和评估各种逆渲染模型，推动相关领域的发展。
📄 摘要（原文）
Accurately modeling how real-world materials reflect light remains a core challenge in inverse rendering, largely due to the scarcity of real measured reflectance data. Existing approaches rely heavily on synthetic datasets with simplified illumination and limited material realism, preventing models from generalizing to real-world images. We introduce a large-scale polarized reflection and material dataset of real-world objects, captured with an 8-camera, 346-light Light Stage equipped with cross/parallel polarization. Our dataset spans 218 everyday objects across five acquisition dimensions-multiview, multi-illumination, polarization, reflectance separation, and material attributes-yielding over 1.2M high-resolution images with diffuse-specular separation and analytically derived diffuse albedo, specular albedo, and surface normals. Using this dataset, we train and evaluate state-of-the-art inverse and forward rendering models on intrinsic decomposition, relighting, and sparse-view 3D reconstruction, demonstrating significant improvements in material separation, illumination fidelity, and geometric consistency. We hope that our work can establish a new foundation for physically grounded material understanding and enable real-world generalization beyond synthetic training regimes. Project page: https://jingyangcarl.github.io/ICTPolarReal/