eStonefish-scenes: A synthetically generated dataset for underwater event-based optical flow prediction tasks
作者: Jad Mansour, Sebastian Realpe, Hayat Rajani, Michele Grimaldi, Rafael Garcia, Nuno Gracias
分类: cs.CV
发布日期: 2025-05-19
备注: Submitted to IJRR
💡 一句话要点
提出eStonefish-scenes水下事件相机光流预测合成数据集，助力水下机器人研究。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 事件相机 水下机器人 光流预测 合成数据集 Stonefish模拟器
📋 核心要点
- 现有事件相机光流数据集在多样性和可扩展性上存在局限，且缺乏水下应用场景的数据集，阻碍了事件相机在水下自主机器人中的应用。
- 论文提出基于Stonefish模拟器的合成数据集eStonefish-scenes，并构建了可定制的水下环境生成流程，以弥补真实水下数据的不足。
- 论文还提供了一个名为eWiz的综合库，用于事件相机数据的处理，包括数据加载、增强、可视化等功能，方便研究人员使用。
📝 摘要（中文）
本文提出了eStonefish-scenes，一个基于Stonefish模拟器的合成事件相机光流数据集，专门用于水下环境。该数据集旨在解决水下事件相机数据匮乏的问题，促进事件相机和脉冲神经网络（SNN）在水下机器人领域的应用，如视觉里程计和避障。同时，论文提供了一个数据生成流程，允许创建可定制的水下环境，模拟动态场景，例如受生物启发的鱼群运动模式，包括避障和珊瑚礁周围的反应性导航。此外，还引入了一个场景生成器，可以通过在地形上随机分布珊瑚来构建逼真的珊瑚礁海床。为了简化数据访问，论文还提供了一个名为eWiz的综合库，用于处理事件相机数据，提供数据加载、增强、可视化、编码和训练数据生成工具，以及损失函数和性能指标。
🔬 方法详解
问题定义：现有的事件相机数据集主要集中在无人机（UAV）应用，缺乏针对水下环境的数据集。水下环境具有光照条件差、能见度低等特点，使得事件相机在水下机器人的应用面临挑战。因此，需要一个多样化、可扩展的水下事件相机数据集，以促进相关算法的研究和开发。
核心思路：论文的核心思路是利用合成数据来弥补真实水下数据的不足。通过Stonefish模拟器，可以创建各种逼真的水下环境和动态场景，并生成相应的事件相机数据。这种方法可以有效地解决数据匮乏的问题，并提供可控的实验环境。
技术框架：该方法主要包含三个部分：1) 基于Stonefish模拟器的水下环境生成器，可以创建各种珊瑚礁、鱼群等场景；2) 事件相机数据生成器，用于模拟事件相机的输出；3) eWiz库，提供数据加载、增强、可视化、编码和训练数据生成等功能。整个流程可以生成带有光流标签的事件相机数据，用于训练和评估相关算法。
关键创新：该论文的关键创新在于提出了一个可定制的水下事件相机数据生成流程。通过参数化控制水下环境的各个方面，可以生成各种不同的场景和动态效果。此外，eWiz库的提供也大大简化了事件相机数据的处理流程，方便研究人员使用。
关键设计：在水下环境生成方面，论文设计了一个场景生成器，可以通过随机分布珊瑚来构建逼真的珊瑚礁海床。在鱼群运动模拟方面，论文采用了受生物启发的运动模式，包括避障和珊瑚礁周围的反应性导航。eWiz库提供了各种数据增强方法，例如旋转、缩放和平移，以提高模型的泛化能力。此外，eWiz还提供了各种损失函数和性能指标，方便研究人员进行模型训练和评估。
🖼️ 关键图片
📊 实验亮点
该论文提出了一个可定制的水下事件相机数据生成流程，可以生成各种不同的场景和动态效果。通过Stonefish模拟器，可以模拟逼真的水下环境，并生成带有光流标签的事件相机数据。此外，eWiz库的提供也大大简化了事件相机数据的处理流程，方便研究人员使用。虽然论文没有提供具体的性能数据，但该数据集的发布将促进水下事件相机相关算法的研究和开发。
🎯 应用场景
该研究成果可广泛应用于水下机器人领域，例如水下视觉里程计、水下目标检测、水下避障等。通过使用合成数据集进行预训练，可以提高模型在真实水下环境中的性能。此外，该数据集还可以用于研究事件相机在水下环境中的特性，为事件相机的硬件设计提供指导。
📄 摘要（原文）
The combined use of event-based vision and Spiking Neural Networks (SNNs) is expected to significantly impact robotics, particularly in tasks like visual odometry and obstacle avoidance. While existing real-world event-based datasets for optical flow prediction, typically captured with Unmanned Aerial Vehicles (UAVs), offer valuable insights, they are limited in diversity, scalability, and are challenging to collect. Moreover, there is a notable lack of labelled datasets for underwater applications, which hinders the integration of event-based vision with Autonomous Underwater Vehicles (AUVs). To address this, synthetic datasets could provide a scalable solution while bridging the gap between simulation and reality. In this work, we introduce eStonefish-scenes, a synthetic event-based optical flow dataset based on the Stonefish simulator. Along with the dataset, we present a data generation pipeline that enables the creation of customizable underwater environments. This pipeline allows for simulating dynamic scenarios, such as biologically inspired schools of fish exhibiting realistic motion patterns, including obstacle avoidance and reactive navigation around corals. Additionally, we introduce a scene generator that can build realistic reef seabeds by randomly distributing coral across the terrain. To streamline data accessibility, we present eWiz, a comprehensive library designed for processing event-based data, offering tools for data loading, augmentation, visualization, encoding, and training data generation, along with loss functions and performance metrics.