DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs

📄 arXiv: 2604.16201v1 📥 PDF

作者: Nikhil Behari, Diego Rivero, Luke Apostolides, Suman Ghosh, Paul Pu Liang, Ramesh Raskar

分类: cs.RO, cs.CV

发布日期: 2026-04-17

💡 一句话要点

DENALI：利用低成本激光雷达实现非视距空间推理的数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 非视距成像 低成本激光雷达 深度学习 数据集 空间推理

📋 核心要点

  1. 传统NLOS重建方法难以应用于低成本激光雷达，因为消费级激光雷达存在严重的硬件限制。
  2. 论文提出通过数据驱动的推理方法，利用低成本激光雷达的时空直方图来实现NLOS感知。
  3. 构建了大规模真实世界数据集DENALI，并验证了消费级激光雷达在NLOS感知方面的潜力。

📝 摘要（中文）

移动设备和机器人中的消费级激光雷达通常每个像素仅输出一个深度值。然而，它们内部记录了包含直接和多次反射光返回的完整时域直方图；这些多次反射返回编码了丰富的非视距(NLOS)线索，可以实现对场景中隐藏物体的感知。然而，消费级激光雷达的严重硬件限制使得使用传统方法进行NLOS重建变得困难。本文提出了一种互补的方向：通过数据驱动的推理，利用低成本激光雷达实现NLOS感知。我们提出了DENALI，这是第一个大规模真实世界数据集，包含来自低成本激光雷达的时空直方图，捕捉了隐藏物体。我们捕获了72,000个隐藏物体场景的时域激光雷达直方图，涵盖了不同的物体形状、位置、光照条件和空间分辨率。使用我们的数据集，我们表明消费级激光雷达可以实现准确的、数据驱动的NLOS感知。我们进一步确定了限制性能的关键场景和建模因素，以及阻碍当前sim-to-real迁移的模拟保真度差距，从而推动了未来利用消费级激光雷达实现可扩展NLOS视觉的研究。

🔬 方法详解

问题定义：论文旨在解决利用低成本激光雷达进行非视距(NLOS)空间推理的问题。现有方法通常依赖于高质量、高成本的激光雷达，并且计算复杂度高，难以直接应用于资源受限的消费级设备。低成本激光雷达虽然内部记录了丰富的时域信息，但由于硬件限制，传统NLOS重建方法难以有效利用这些信息。

核心思路：论文的核心思路是利用数据驱动的方法，通过学习低成本激光雷达的时空直方图与隐藏物体之间的关系，实现NLOS感知。这种方法避免了复杂的物理建模和计算，转而依赖于大量数据的学习能力，从而降低了对硬件的要求。

技术框架：论文的主要技术框架包括数据采集、数据集构建和模型训练三个阶段。首先，通过低成本激光雷达采集大量包含隐藏物体的场景数据，并构建大规模数据集DENALI。然后，利用该数据集训练深度学习模型，学习从时空直方图到隐藏物体信息的映射关系。最后，通过实验验证模型的NLOS感知能力。

关键创新：论文的关键创新在于提出了利用低成本激光雷达进行数据驱动的NLOS感知方法。与传统方法相比，该方法降低了对硬件的要求，并且能够有效利用低成本激光雷达的时域信息。此外，DENALI数据集的构建也为NLOS感知领域的研究提供了宝贵的数据资源。

关键设计：DENALI数据集包含72,000个隐藏物体场景，涵盖了不同的物体形状、位置、光照条件和空间分辨率。在模型训练方面，论文可能采用了卷积神经网络(CNN)或Transformer等深度学习模型，并设计了合适的损失函数来优化模型的性能。具体的网络结构和参数设置可能需要参考论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了首个大规模真实世界低成本激光雷达NLOS数据集DENALI，包含72,000个场景。实验结果表明，基于DENALI数据集训练的模型能够有效利用消费级激光雷达进行NLOS感知，验证了数据驱动方法在低成本硬件上的可行性。论文还分析了影响性能的关键因素，为未来研究方向提供了指导。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、安防监控等领域。例如，机器人可以利用NLOS感知能力在复杂环境中进行导航，自动驾驶系统可以检测到被遮挡的行人或车辆，安防系统可以监控隐藏区域的异常情况。未来，随着低成本激光雷达的普及，该技术有望在更多领域得到应用。

📄 摘要（原文）

Consumer LiDARs in mobile devices and robots typically output a single depth value per pixel. Yet internally, they record full time-resolved histograms containing direct and multi-bounce light returns; these multi-bounce returns encode rich non-line-of-sight (NLOS) cues that can enable perception of hidden objects in a scene. However, severe hardware limitations of consumer LiDARs make NLOS reconstruction with conventional methods difficult. In this work, we motivate a complementary direction: enabling NLOS perception with low-cost LiDARs through data-driven inference. We present DENALI, the first large-scale real-world dataset of space-time histograms from low-cost LiDARs capturing hidden objects. We capture time-resolved LiDAR histograms for 72,000 hidden-object scenes across diverse object shapes, positions, lighting conditions, and spatial resolutions. Using our dataset, we show that consumer LiDARs can enable accurate, data-driven NLOS perception. We further identify key scene and modeling factors that limit performance, as well as simulation-fidelity gaps that hinder current sim-to-real transfer, motivating future work toward scalable NLOS vision with consumer LiDARs.