LUCES-MV: A Multi-View Dataset for Near-Field Point Light Source Photometric Stereo

📄 arXiv: 2412.16737v1 📥 PDF

作者: Fotios Logothetis, Ignas Budvytis, Stephan Liwicki, Roberto Cipolla

分类: cs.CV

发布日期: 2024-12-21

💡 一句话要点

LUCES-MV：用于近场点光源光度立体的多视角数据集

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光度立体 多视角数据集 近场点光源 三维重建 计算机视觉

📋 核心要点

  1. 现有光度立体数据集规模小，缺乏复杂物体和近场光照设置，限制了算法的实际应用。
  2. LUCES-MV数据集提供多视角、近场点光源下的真实物体图像，包含多种材料和形状。
  3. 该数据集提供ground truth法线、网格、姿态以及光照和相机校准信息，便于端到端评估。

📝 摘要（中文）

光度立体(PS)领域的最新进展主要得益于可微体渲染技术，如NeRF或神经SDF，在DiLiGenT-MV基准测试中实现了0.2mm的重建误差。然而，虽然环境光照物体的规模数据集很大，例如Digital Twin Catalogue (DTS)，但光度立体数据集很少，且缺乏具有挑战性的物体（简单、光滑、无纹理）和实用的、小型（近场）光照设置。为了解决这个问题，我们提出了LUCES-MV，这是第一个真实世界的多视角数据集，专为近场点光源光度立体而设计。我们的数据集包括15个具有不同材料的物体，每个物体都在不同的光照条件下成像，这些光照来自位于相机中心30到40厘米范围内的15个LED阵列。为了方便透明的端到端评估，我们的数据集不仅提供ground truth法线和ground truth物体网格和姿态，还提供光和相机校准图像。我们评估了最先进的近场光度立体算法，突出了它们在不同材料和形状复杂度上的优势和局限性。LUCES-MV数据集为开发更鲁棒、准确和可扩展的基于真实世界光度立体的3D重建方法提供了一个重要的基准。

🔬 方法详解

问题定义：论文旨在解决现有光度立体数据集在近场点光源场景下的不足。现有数据集通常缺乏复杂形状和材质的物体，并且光照设置不够贴近实际应用，这限制了算法在真实场景中的性能。因此，需要一个更具挑战性和实用性的数据集来推动相关算法的发展。

核心思路：论文的核心思路是构建一个真实世界的多视角数据集，该数据集专门针对近场点光源光度立体设计。通过采集具有不同材料和形状的物体在不同光照条件下的图像，并提供精确的ground truth信息，为算法的评估和改进提供可靠的基础。

技术框架：LUCES-MV数据集的构建流程主要包括以下几个阶段：1) 选择具有代表性的物体，涵盖不同的材料和形状复杂度；2) 设计近场点光源光照系统，使用多个LED灯提供不同的光照方向；3) 使用多视角相机系统同步采集物体在不同光照和视角下的图像；4) 通过精确的校准过程获取相机和光照参数，并生成ground truth法线、网格和姿态信息。

关键创新：LUCES-MV数据集的关键创新在于它是第一个专门为近场点光源光度立体设计的真实世界多视角数据集。与现有数据集相比，LUCES-MV更贴近实际应用场景，并且提供了更全面的ground truth信息，包括光照和相机校准数据，这使得研究人员可以更方便地进行算法评估和比较。

关键设计：数据集包含15个物体，这些物体具有不同的材料属性（例如，漫反射、镜面反射）和形状复杂度。15个LED灯放置在距离相机中心30-40厘米的位置，以模拟近场点光源。相机系统采用多视角设置，从不同角度捕捉物体的图像。为了保证ground truth的准确性，论文采用了高精度的校准方法，并提供了详细的校准数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在LUCES-MV数据集上评估现有光度立体算法，揭示了这些算法在处理不同材料和形状复杂度物体时的优势和局限性。实验结果表明，现有算法在处理复杂形状和镜面反射材料时性能下降明显，这为未来的算法改进提供了方向。该数据集为光度立体算法的性能评估提供了一个重要的基准。

🎯 应用场景

该数据集可应用于机器人视觉、工业检测、文物数字化等领域。通过光度立体技术，可以精确重建物体的三维形状和表面属性，为机器人抓取、质量控制、虚拟现实等应用提供支持。未来，该数据集有望推动光度立体技术在更广泛的实际场景中应用。

📄 摘要（原文）

The biggest improvements in Photometric Stereo (PS) field has recently come from adoption of differentiable volumetric rendering techniques such as NeRF or Neural SDF achieving impressive reconstruction error of 0.2mm on DiLiGenT-MV benchmark. However, while there are sizeable datasets for environment lit objects such as Digital Twin Catalogue (DTS), there are only several small Photometric Stereo datasets which often lack challenging objects (simple, smooth, untextured) and practical, small form factor (near-field) light setup. To address this, we propose LUCES-MV, the first real-world, multi-view dataset designed for near-field point light source photometric stereo. Our dataset includes 15 objects with diverse materials, each imaged under varying light conditions from an array of 15 LEDs positioned 30 to 40 centimeters from the camera center. To facilitate transparent end-to-end evaluation, our dataset provides not only ground truth normals and ground truth object meshes and poses but also light and camera calibration images. We evaluate state-of-the-art near-field photometric stereo algorithms, highlighting their strengths and limitations across different material and shape complexities. LUCES-MV dataset offers an important benchmark for developing more robust, accurate and scalable real-world Photometric Stereo based 3D reconstruction methods.