RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments
作者: Haisheng Su, Feixiang Song, Cong Ma, Wei Wu, Junchi Yan
分类: cs.CV, cs.AI
发布日期: 2024-08-28 (更新: 2025-03-05)
备注: Accepted to CVPR2025
💡 一句话要点
RoboSense：用于拥挤和非结构化环境中以自我为中心的机器人感知和导航的大规模数据集与基准
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人感知 自主导航 数据集 三维目标检测 近场感知 多模态融合 拥挤环境
📋 核心要点
- 现有方法在拥挤和非结构化环境中，由于遮挡和截断，近场感知能力不足，限制了机器人自主导航。
- RoboSense数据集通过多传感器融合（相机、激光雷达、鱼眼相机）和大规模标注，提供丰富的近场环境感知数据。
- 论文定义了近场3D感知和预测的新匹配标准，并提供了六个基准任务，促进相关研究发展。
📝 摘要（中文）
本文针对智能移动代理的自主导航技术中，以自我为中心的可靠具身感知问题，提出了RoboSense数据集。该数据集旨在解决拥挤和非结构化环境中近场场景理解的难题。由于环境复杂性和障碍物被截断和遮挡，现有感知能力不足。RoboSense基于三种主要传感器（相机、激光雷达和鱼眼相机）构建了一个以自我为中心的多传感器数据采集平台，支持灵活的传感器配置，能够从自我视角动态捕捉近处或远处区域。RoboSense包含超过13.3万个同步数据，并在完整的360°视图中标注了140万个3D边界框和ID，形成了跨越7.6千个时间序列的21.6万条轨迹。其近距离范围内周围障碍物的标注数量是KITTI和nuScenes等自动驾驶数据集的270倍和18倍。此外，本文还为近场3D感知和预测指标定义了一种新的匹配标准，并基于RoboSense提出了六个常用任务，并提供了详细的分析和基准。数据已进行脱敏处理以保护隐私。
🔬 方法详解
问题定义：现有自动驾驶数据集主要关注远距离场景，缺乏对拥挤和非结构化环境中近距离障碍物的充分标注。这导致机器人难以在这些复杂环境中进行可靠的感知和导航。现有方法在处理近距离障碍物的遮挡和截断问题时表现不佳，影响了机器人的安全性和效率。
核心思路：RoboSense数据集的核心思路是构建一个大规模、多模态的以自我为中心的数据集，专注于近场环境感知。通过多传感器融合，提供更全面的环境信息，并采用精细的3D边界框标注，提高模型对近距离障碍物的识别和理解能力。
技术框架：RoboSense数据采集平台包含相机、激光雷达和鱼眼相机三种主要传感器，支持灵活的传感器配置。数据采集过程中，机器人穿梭于拥挤和非结构化的环境中，记录各种场景下的传感器数据。随后，对数据进行同步和标注，生成包含3D边界框和ID的标注文件。最后，基于RoboSense数据集，定义了六个常用任务，并提供了相应的基准。
关键创新：RoboSense数据集的关键创新在于其大规模、多模态和以自我为中心的特性，以及对近场环境的专注。与现有自动驾驶数据集相比，RoboSense在近距离范围内周围障碍物的标注数量显著增加，更适合用于训练和评估机器人在拥挤和非结构化环境中的感知能力。此外，论文还为近场3D感知和预测指标定义了一种新的匹配标准。
关键设计：RoboSense数据集包含超过13.3万个同步数据，并在完整的360°视图中标注了140万个3D边界框和ID。数据集涵盖了多种场景，包括室内和室外环境，以及各种类型的障碍物。论文定义了一种新的匹配标准，用于评估近场3D感知和预测模型的性能。具体细节未在摘要中详细说明，需要查阅论文全文。
🖼️ 关键图片
📊 实验亮点
RoboSense数据集在近距离范围内周围障碍物的标注数量是KITTI数据集的270倍，是nuScenes数据集的18倍。这表明RoboSense在近场环境感知方面具有显著优势。论文基于RoboSense提出了六个常用任务，并提供了详细的分析和基准，为后续研究提供了参考。
🎯 应用场景
RoboSense数据集可广泛应用于社交机器人、服务机器人、移动机器人等领域，提升机器人在拥挤和非结构化环境中的自主导航能力。该数据集有助于开发更安全、更高效的机器人系统，例如在商场、医院、家庭等场景中提供导航、导览、配送等服务。未来，基于RoboSense的研究有望推动机器人技术在智慧城市、智能家居等领域的应用。
📄 摘要（原文）
Reliable embodied perception from an egocentric perspective is challenging yet essential for autonomous navigation technology of intelligent mobile agents. With the growing demand of social robotics, near-field scene understanding becomes an important research topic in the areas of egocentric perceptual tasks related to navigation in both crowded and unstructured environments. Due to the complexity of environmental conditions and difficulty of surrounding obstacles owing to truncation and occlusion, the perception capability under this circumstance is still inferior. To further enhance the intelligence of mobile robots, in this paper, we setup an egocentric multi-sensor data collection platform based on 3 main types of sensors (Camera, LiDAR and Fisheye), which supports flexible sensor configurations to enable dynamic sight of view from ego-perspective, capturing either near or farther areas. Meanwhile, a large-scale multimodal dataset is constructed, named RoboSense, to facilitate egocentric robot perception. Specifically, RoboSense contains more than 133K synchronized data with 1.4M 3D bounding box and IDs annotated in the full $360^{\circ}$ view, forming 216K trajectories across 7.6K temporal sequences. It has $270\times$ and $18\times$ as many annotations of surrounding obstacles within near ranges as the previous datasets collected for autonomous driving scenarios such as KITTI and nuScenes. Moreover, we define a novel matching criterion for near-field 3D perception and prediction metrics. Based on RoboSense, we formulate 6 popular tasks to facilitate the future research development, where the detailed analysis as well as benchmarks are also provided accordingly. Data desensitization measures have been conducted for privacy protection.