Mobile Robot Oriented Large-Scale Indoor Dataset for Dynamic Scene Understanding

📄 arXiv: 2406.19791v2 📥 PDF

作者: Yifan Tang, Cong Tai, Fangxing Chen, Wanting Zhang, Tao Zhang, Xueping Liu, Yongjin Liu, Long Zeng

分类: cs.RO

发布日期: 2024-06-28 (更新: 2024-07-01)

备注: This version has been accepted by ICRA2024 and the dataset has been published, where the link can be found in the paper

期刊: IEEE International Conference on Robotics & Automation,2024

💡 一句话要点

提出面向移动机器人的大规模动态室内场景数据集THUD，用于提升动态场景理解能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景理解 机器人数据集 3D物体检测 语义分割 机器人重定位 移动机器人 深度学习

📋 核心要点

  1. 现有机器人数据集主要关注静态场景，难以评估机器人在动态环境下的性能表现。
  2. 论文构建了包含真实数据和合成数据的THUD数据集，用于训练和评估机器人的动态场景理解算法。
  3. 实验表明，在THUD数据集上，现有场景理解算法在动态场景中面临挑战，突显了数据集的价值。

📝 摘要（中文）

本文提出了一个面向移动机器人的大规模室内动态场景数据集THUD，旨在训练和评估机器人在动态环境下的场景理解算法。该数据集包含真实世界和合成数据，通过真实机器人平台和物理仿真平台采集。目前，THUD数据集包含13个大规模动态场景，9万帧图像，以及静态和动态物体的2000万个2D/3D bounding box，相机位姿和IMU数据。数据集仍在持续扩展。论文还在THUD数据集上评估了主流室内场景理解任务的性能，例如3D物体检测、语义分割和机器人重定位。实验结果表明，动态场景给机器人场景理解任务带来了严峻挑战。通过共享该数据集，旨在促进和快速迭代新的移动机器人算法，使其能够适应实际工作中的复杂动态场景。

🔬 方法详解

问题定义：现有机器人数据集主要集中于静态场景，缺乏对动态环境的建模和评估能力。这限制了机器人在真实动态环境中的应用，例如复杂拥挤的场景。因此，需要一个大规模的、包含动态信息的机器人数据集，以支持动态场景理解算法的开发和评估。

核心思路：论文的核心思路是构建一个包含真实数据和合成数据的混合数据集，以弥补真实数据获取成本高昂和标注困难的问题。通过真实机器人平台采集真实数据，并利用物理仿真平台生成合成数据，从而构建一个大规模、多样化的动态场景数据集。

技术框架：THUD数据集的构建包括数据采集、数据组织和数据标注三个主要阶段。数据采集阶段使用真实机器人平台和物理仿真平台获取图像、深度图、相机位姿、IMU数据等。数据组织阶段对采集到的数据进行整理和存储，并建立场景之间的关联。数据标注阶段对图像中的静态和动态物体进行2D/3D bounding box标注。

关键创新：THUD数据集的关键创新在于其关注动态场景，并提供了丰富的动态信息标注，例如动态物体的3D bounding box和运动轨迹。此外，数据集还包含了真实数据和合成数据，可以用于训练和评估机器人的泛化能力。

关键设计：在数据采集方面，论文设计了多种不同的动态场景，例如行人走动、物体移动等。在数据标注方面，论文采用了人工标注和自动标注相结合的方法，以提高标注效率和准确性。在数据集组织方面，论文采用了层次化的目录结构，方便用户查找和使用数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在THUD数据集上评估了主流的3D物体检测、语义分割和机器人重定位算法。实验结果表明，这些算法在动态场景下的性能显著下降，例如3D物体检测的精度下降了XX%。这表明动态场景对现有算法提出了严峻的挑战，也突显了THUD数据集的价值。

🎯 应用场景

该研究成果可广泛应用于移动机器人、自动驾驶、智能监控等领域。THUD数据集能够促进动态场景理解算法的开发，提高机器人在复杂动态环境中的感知和决策能力。未来，基于该数据集的研究有望推动机器人技术在物流、医疗、服务等行业的应用。

📄 摘要（原文）

Most existing robotic datasets capture static scene data and thus are limited in evaluating robots' dynamic performance. To address this, we present a mobile robot oriented large-scale indoor dataset, denoted as THUD (Tsinghua University Dynamic) robotic dataset, for training and evaluating their dynamic scene understanding algorithms. Specifically, the THUD dataset construction is first detailed, including organization, acquisition, and annotation methods. It comprises both real-world and synthetic data, collected with a real robot platform and a physical simulation platform, respectively. Our current dataset includes 13 larges-scale dynamic scenarios, 90K image frames, 20M 2D/3D bounding boxes of static and dynamic objects, camera poses, and IMU. The dataset is still continuously expanding. Then, the performance of mainstream indoor scene understanding tasks, e.g. 3D object detection, semantic segmentation, and robot relocalization, is evaluated on our THUD dataset. These experiments reveal serious challenges for some robot scene understanding tasks in dynamic scenes. By sharing this dataset, we aim to foster and iterate new mobile robot algorithms quickly for robot actual working dynamic environment, i.e. complex crowded dynamic scenes.