Synthetic Lunar Terrain: A Multimodal Open Dataset for Training and Evaluating Neuromorphic Vision Algorithms

📄 arXiv: 2408.16971v1 📥 PDF

作者: Marcus Märtens, Kevin Farries, John Culton, Tat-Jun Chin

分类: cs.CV

发布日期: 2024-08-30

备注: 7 pages, 5 figures, to be published at "International Symposium on Artificial Intelligence, Robotics and Automation in Space, i-SAIRAS, 2024

💡 一句话要点

提出合成月球地形（SLT）多模态开放数据集，用于训练和评估神经形态视觉算法。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经形态视觉 事件相机 月球探测 多模态数据集 机器人导航

📋 核心要点

  1. 现有RGB相机在月球极端光照条件下表现受限，且传统视觉算法难以处理高动态范围场景。
  2. 论文构建SLT数据集，包含事件相机数据、RGB图像和深度信息，旨在探索神经形态视觉在月球环境中的应用潜力。
  3. SLT数据集可用于分析RGB相机的局限性，并为开发基于神经形态视觉的月球探测算法提供基础。

📝 摘要（中文）

合成月球地形（SLT）是一个开放数据集，它采集自月球任务的模拟测试场地，具有高对比度照明设置下的合成陨石坑。该数据集包括来自事件相机和传统RGB相机的多个并排捕获图像，并辅以用于深度估计的高分辨率3D激光扫描。来自事件相机的神经形态视觉传感器的事件流特别令人关注，因为这种新兴技术提供了几个独特的优势，例如高数据速率、低能耗以及对高动态范围场景的适应性。SLT为分析RGB相机的局限性以及利用神经形态视觉的潜在优势或协同作用奠定了坚实的基础，目标是实现和改进月球特定应用，如漫游车导航、陨石坑环境着陆等。

🔬 方法详解

问题定义：现有方法在月球探测任务中面临挑战，主要体现在两个方面：一是月球表面的极端光照条件导致传统RGB相机难以捕捉清晰图像；二是高动态范围场景使得传统视觉算法的性能下降。因此，需要一种能够适应恶劣光照条件和高动态范围场景的视觉感知方法。

核心思路：论文的核心思路是利用神经形态视觉传感器（事件相机）的优势，结合传统RGB相机和深度信息，构建一个多模态数据集，用于训练和评估神经形态视觉算法在月球环境中的性能。神经形态视觉传感器具有高数据速率、低能耗以及对高动态范围场景的适应性，可以弥补传统RGB相机的不足。

技术框架：SLT数据集的构建流程主要包括以下几个阶段：首先，在模拟月球地形的测试场地中，设置高对比度照明环境，模拟月球表面的光照条件；然后，使用事件相机和传统RGB相机同步采集图像数据，并使用高分辨率3D激光扫描仪获取深度信息；最后，对采集到的数据进行校准和同步，构建成一个多模态数据集。

关键创新：该论文的关键创新在于构建了一个专门针对月球环境的多模态数据集，其中包含了事件相机数据、RGB图像和深度信息。这是首个公开的此类数据集，为研究神经形态视觉在月球探测任务中的应用提供了宝贵资源。

关键设计：数据集的关键设计包括：1) 模拟月球表面的高对比度照明环境；2) 使用事件相机和RGB相机同步采集图像数据；3) 使用高分辨率3D激光扫描仪获取精确的深度信息；4) 对采集到的数据进行精确的校准和同步，确保不同模态数据之间的对应关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SLT数据集包含来自事件相机、RGB相机和3D激光扫描仪的多模态数据，为研究神经形态视觉在月球环境中的应用提供了全面的资源。该数据集的公开为相关领域的研究人员提供了一个统一的评估平台，可以促进算法的比较和改进。此外，该数据集还可以用于分析RGB相机的局限性，并探索神经形态视觉的潜在优势。

🎯 应用场景

该研究成果可应用于月球探测任务，例如漫游车导航、陨石坑环境着陆、资源勘探等。通过利用神经形态视觉传感器，可以提高月球探测任务的可靠性和效率，降低能源消耗。此外，该数据集还可以促进神经形态视觉算法的发展，并推动其在其他高动态范围场景中的应用。

📄 摘要（原文）

Synthetic Lunar Terrain (SLT) is an open dataset collected from an analogue test site for lunar missions, featuring synthetic craters in a high-contrast lighting setup. It includes several side-by-side captures from event-based and conventional RGB cameras, supplemented with a high-resolution 3D laser scan for depth estimation. The event-stream recorded from the neuromorphic vision sensor of the event-based camera is of particular interest as this emerging technology provides several unique advantages, such as high data rates, low energy consumption and resilience towards scenes of high dynamic range. SLT provides a solid foundation to analyse the limits of RGB-cameras and potential advantages or synergies in utilizing neuromorphic visions with the goal of enabling and improving lunar specific applications like rover navigation, landing in cratered environments or similar.