Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset

📄 arXiv: 2406.09383v1 📥 PDF

作者: Yiming Li, Zhiheng Li, Nuo Chen, Moonjun Gong, Zonglin Lyu, Zehong Wang, Peili Jiang, Chen Feng

分类: cs.CV

发布日期: 2024-06-13

备注: Accepted by CVPR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MARS数据集，用于多智能体、多视角、多模态自动驾驶研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 多智能体 多视角 数据集 协同驾驶 地点识别 神经重建

📋 核心要点

  1. 现有自动驾驶数据集缺乏多智能体交互和同一地点的重复遍历信息，限制了感知、预测和规划能力的提升。
  2. MARS数据集包含多智能体协同驾驶和多视角异步遍历场景，旨在促进自动驾驶汽车相关研究。
  3. 实验验证了MARS数据集在地点识别和神经重建方面的应用价值，并为多视角3D重建等研究提供机会。

📝 摘要（中文）

大规模数据集推动了基于人工智能的自动驾驶汽车研究的最新进展。然而，这些数据集通常是从单个车辆对特定位置的单次通过中收集的，缺乏多智能体交互或对同一地点的重复遍历。此类信息可以显著增强自动驾驶汽车的感知、预测和规划能力。为了弥补这一差距，我们与自动驾驶公司May Mobility合作，提出了MARS数据集，该数据集统一了支持多智能体、多视角和多模态自动驾驶汽车研究的场景。更具体地说，MARS数据集由在一个特定地理区域内行驶的自动驾驶车队收集。每辆车都有自己的路线，不同的车辆可能会出现在附近的位置。每辆车都配备了激光雷达和环视RGB摄像头。我们在MARS中策划了两个子集：一个促进多个车辆同时出现在同一位置的协同驾驶，另一个通过多个车辆对同一位置的异步遍历来实现记忆回顾。我们进行了地点识别和神经重建实验。更重要的是，MARS引入了新的研究机会和挑战，例如多视角3D重建、多智能体感知和无监督对象发现。我们的数据和代码可以在https://ai4ce.github.io/MARS/找到。

🔬 方法详解

问题定义：现有自动驾驶数据集主要关注单车单次通过场景，缺乏多智能体之间的交互信息以及同一地点多次遍历的数据。这导致模型难以学习到复杂的交通模式和环境变化，限制了自动驾驶系统在复杂环境下的泛化能力。现有方法难以有效利用这些信息进行感知、预测和规划。

核心思路：MARS数据集的核心思路是通过多辆自动驾驶车辆在同一区域内行驶，记录它们之间的交互以及对同一地点的多次观测。这样可以提供更丰富的环境信息和交互模式，帮助模型学习到更鲁棒的特征表示，从而提升自动驾驶系统的性能。

技术框架：MARS数据集的构建流程包括以下几个主要阶段：1) 数据采集：使用配备激光雷达和环视RGB摄像头的自动驾驶车队在特定地理区域内行驶，记录车辆的传感器数据。2) 数据同步与校准：对不同车辆的传感器数据进行时间同步和空间校准，确保数据的一致性。3) 数据集划分：将数据集划分为两个子集，分别用于协同驾驶和记忆回顾研究。4) 数据标注：对数据集进行必要的标注，例如车辆位置、目标检测等。

关键创新：MARS数据集的关键创新在于其多智能体、多视角和多模态的特性。它不仅包含了多个智能体之间的交互信息，还包含了对同一地点的多次观测数据，以及来自激光雷达和RGB摄像头的多模态数据。这些特性使得MARS数据集能够支持更广泛的自动驾驶研究。

关键设计：MARS数据集包含两个子集，分别用于协同驾驶和记忆回顾研究。协同驾驶子集包含多个车辆同时出现在同一位置的场景，可以用于研究多智能体感知和协同规划。记忆回顾子集包含多个车辆对同一位置的异步遍历场景，可以用于研究基于记忆的地点识别和环境重建。数据集的规模和多样性也经过精心设计，以满足不同研究的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在MARS数据集上进行地点识别和神经重建实验，验证了数据集的有效性。实验结果表明，利用MARS数据集可以显著提升地点识别的准确率和神经重建的质量。此外，论文还展示了MARS数据集在多视角3D重建和多智能体感知方面的应用潜力。

🎯 应用场景

MARS数据集可广泛应用于自动驾驶汽车的感知、预测和规划等领域。通过利用多智能体交互和多视角信息，可以提升自动驾驶系统在复杂交通环境下的安全性和可靠性。此外，该数据集还可用于研究多视角3D重建、无监督目标发现等前沿问题，推动自动驾驶技术的进一步发展。

📄 摘要（原文）

Large-scale datasets have fueled recent advancements in AI-based autonomous vehicle research. However, these datasets are usually collected from a single vehicle's one-time pass of a certain location, lacking multiagent interactions or repeated traversals of the same place. Such information could lead to transformative enhancements in autonomous vehicles' perception, prediction, and planning capabilities. To bridge this gap, in collaboration with the self-driving company May Mobility, we present the MARS dataset which unifies scenarios that enable MultiAgent, multitraveRSal, and multimodal autonomous vehicle research. More specifically, MARS is collected with a fleet of autonomous vehicles driving within a certain geographical area. Each vehicle has its own route and different vehicles may appear at nearby locations. Each vehicle is equipped with a LiDAR and surround-view RGB cameras. We curate two subsets in MARS: one facilitates collaborative driving with multiple vehicles simultaneously present at the same location, and the other enables memory retrospection through asynchronous traversals of the same location by multiple vehicles. We conduct experiments in place recognition and neural reconstruction. More importantly, MARS introduces new research opportunities and challenges such as multitraversal 3D reconstruction, multiagent perception, and unsupervised object discovery. Our data and codes can be found at https://ai4ce.github.io/MARS/.