eCARLA-scenes: A synthetically generated dataset for event-based optical flow prediction

📄 arXiv: 2412.09209v1 📥 PDF

作者: Jad Mansour, Hayat Rajani, Rafael Garcia, Nuno Gracias

分类: cs.CV

发布日期: 2024-12-12

💡 一句话要点

提出eCARLA-scenes：用于事件相机光流预测的合成数据集，服务自动驾驶场景。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 光流预测 合成数据集 自动驾驶 CARLA模拟器

📋 核心要点

  1. 现有光流预测的事件数据集在多样性和规模上受限，难以满足深度学习模型的需求，且真实数据采集成本高昂。
  2. 论文提出eCARLA-scenes，一个基于CARLA模拟器的合成数据集，旨在提供多样化、可扩展的事件数据，用于光流预测任务。
  3. 该数据集结合eWiz库，提供数据处理、增强和评估工具，为事件相机在自动驾驶领域的应用研究提供支持。

📝 摘要（中文）

本文提出了一种用于事件相机光流预测的合成数据集eCARLA-scenes，旨在弥补现有真实世界事件数据集在多样性、可扩展性和采集难度方面的不足。该数据集基于CARLA模拟器，模拟自动驾驶场景，并利用eWiz库进行事件数据的处理，eWiz库包含数据加载、增强、可视化、编码和训练数据生成等工具，以及损失函数和性能指标。eCARLA-scenes的目标是描绘多样化的环境，为自动驾驶领域中基于事件相机的应用奠定基础，并为在Intel Loihi等神经形态硬件上使用脉冲神经网络（SNNs）铺平道路。

🔬 方法详解

问题定义：论文旨在解决事件相机光流预测领域缺乏高质量、大规模数据集的问题。现有的真实数据集在多样性、可扩展性和采集难度上存在局限性，阻碍了基于事件相机的视觉里程计和避障等任务的研究进展。

核心思路：论文的核心思路是利用合成数据弥补真实数据的不足。通过CARLA模拟器生成逼真的自动驾驶场景，并使用eWiz库处理事件数据，从而创建一个可控、可扩展、多样化的数据集。这样可以降低数据采集成本，并为算法开发提供充足的训练数据。

技术框架：整体框架包括CARLA模拟器、eWiz库和数据生成流程。CARLA负责生成虚拟环境和车辆运动轨迹，eWiz库提供事件数据的处理工具，包括数据加载、增强、可视化、编码和训练数据生成。数据生成流程涉及设置相机参数、模拟车辆运动、生成事件数据和计算光流真值等步骤。

关键创新：关键创新在于构建了一个完整的合成数据生成和处理流程，并提供了一个高质量的事件相机光流预测数据集。eWiz库的引入简化了事件数据的处理流程，使得研究人员可以更专注于算法设计和实验验证。

关键设计：eWiz库包含多种数据编码方式，例如时间表面（Time Surface）和直方图编码。损失函数方面，可以使用均方误差（MSE）或Huber损失等。网络结构方面，可以使用卷积神经网络（CNN）或脉冲神经网络（SNN）。数据集包含多种场景，例如城市道路、乡村道路和高速公路，以及不同的天气条件和光照条件。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文提出了一个基于CARLA模拟器的合成数据集eCARLA-scenes，并提供了一套完整的数据处理工具eWiz。该数据集包含多样化的自动驾驶场景，可以用于训练和评估事件相机光流预测算法。虽然论文没有提供具体的性能数据，但其贡献在于提供了一个高质量的合成数据集，为相关研究提供了基础。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、无人机等领域。通过使用合成数据训练的事件相机光流预测模型，可以提高车辆在复杂环境下的感知能力，实现更安全、更可靠的自主导航。此外，该数据集还可以促进脉冲神经网络在神经形态硬件上的应用，为低功耗、高效率的智能系统提供新的解决方案。

📄 摘要（原文）

The joint use of event-based vision and Spiking Neural Networks (SNNs) is expected to have a large impact in robotics in the near future, in tasks such as, visual odometry and obstacle avoidance. While researchers have used real-world event datasets for optical flow prediction (mostly captured with Unmanned Aerial Vehicles (UAVs)), these datasets are limited in diversity, scalability, and are challenging to collect. Thus, synthetic datasets offer a scalable alternative by bridging the gap between reality and simulation. In this work, we address the lack of datasets by introducing eWiz, a comprehensive library for processing event-based data. It includes tools for data loading, augmentation, visualization, encoding, and generation of training data, along with loss functions and performance metrics. We further present a synthetic event-based datasets and data generation pipelines for optical flow prediction tasks. Built on top of eWiz, eCARLA-scenes makes use of the CARLA simulator to simulate self-driving car scenarios. The ultimate goal of this dataset is the depiction of diverse environments while laying a foundation for advancing event-based camera applications in autonomous field vehicle navigation, paving the way for using SNNs on neuromorphic hardware such as the Intel Loihi.