M-SEVIQ: A Multi-band Stereo Event Visual-Inertial Quadruped-based Dataset for Perception under Rapid Motion and Challenging Illumination

📄 arXiv: 2601.02777v1 📥 PDF

作者: Jingcheng Cao, Chaoran Xiong, Jianmin Song, Shang Yan, Jiachen Liu, Ling Pei

分类: cs.RO

发布日期: 2026-01-06

备注: 6 pages, 7 figures

💡 一句话要点

提出M-SEVIQ多波段立体事件视觉惯性四足机器人数据集，用于快速运动和复杂光照下的感知研究。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 事件相机 四足机器人 多波段视觉 立体视觉 视觉惯性 数据集 敏捷感知 传感器融合

📋 核心要点

  1. 传统相机在光照不足和快速运动场景下易产生模糊图像，限制了四足机器人的视觉感知能力。
  2. 利用事件相机异步捕捉亮度变化，具有低延迟、高时间分辨率和高动态范围的优势，适用于复杂环境。
  3. M-SEVIQ数据集提供多波段立体事件数据，并包含精确标定，为敏捷机器人感知研究提供有力支持。

📝 摘要（中文）

本文提出了M-SEVIQ，一个多波段立体事件视觉惯性四足机器人数据集。该数据集使用配备了立体事件相机、帧相机、惯性测量单元（IMU）和关节编码器的宇树Go2机器人采集。数据集包含超过30个真实场景序列，涵盖不同的速度等级、照明波长和光照条件。此外，还提供了全面的标定数据，包括内参、外参和时间对齐，以促进精确的传感器融合和基准测试。M-SEVIQ可用于支持敏捷机器人感知、传感器融合、语义分割和复杂环境下的多模态视觉研究。

🔬 方法详解

问题定义：现有事件相机数据集在立体配置和多波段传感领域，尤其是在各种光照条件下存在局限性。这限制了研究人员在复杂环境下开发和评估基于事件相机的感知算法，阻碍了敏捷机器人技术的发展。

核心思路：本文的核心思路是构建一个高质量、多样化的数据集，包含多波段立体事件相机数据、帧相机数据、IMU数据和关节编码器数据，并提供精确的标定信息。通过提供丰富的数据和准确的标定，促进基于事件相机的感知算法在敏捷机器人上的研究和应用。

技术框架：M-SEVIQ数据集的采集平台是宇树Go2四足机器人，配备了立体事件相机、帧相机、IMU和关节编码器。数据采集过程涵盖不同的速度等级、照明波长和光照条件。同时，对所有传感器进行精确的内参、外参和时间同步标定。数据集还提供用于数据处理和评估的工具。

关键创新：M-SEVIQ数据集的关键创新在于其多波段立体事件相机配置和全面的标定信息。现有的数据集通常只包含单目或双目事件相机数据，而M-SEVIQ提供了多波段数据，可以更好地应对复杂的光照条件。此外，M-SEVIQ提供的标定信息非常全面，包括内参、外参和时间同步，这对于传感器融合和算法评估至关重要。

关键设计：数据集采集过程中，设计了不同的运动轨迹和光照条件，以保证数据的多样性。标定过程采用了高精度的标定板和算法，以保证标定结果的准确性。时间同步采用了硬件触发和软件同步相结合的方法，以保证时间戳的精确对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

M-SEVIQ数据集包含超过30个真实场景序列，涵盖不同的速度等级、照明波长和光照条件，数据量丰富。此外，数据集提供了全面的标定数据，包括内参、外参和时间对齐，方便研究人员进行传感器融合和算法评估。该数据集为敏捷机器人感知研究提供了一个高质量的基准平台。

🎯 应用场景

M-SEVIQ数据集可广泛应用于敏捷机器人感知、传感器融合、语义分割和复杂环境下的多模态视觉研究。例如，可用于开发基于事件相机的视觉里程计、三维重建、目标检测和跟踪算法，并应用于四足机器人的自主导航、搜索救援和工业巡检等领域。该数据集的发布将促进相关领域的研究进展，推动敏捷机器人技术的实际应用。

📄 摘要（原文）

Agile locomotion in legged robots poses significant challenges for visual perception. Traditional frame-based cameras often fail in these scenarios for producing blurred images, particularly under low-light conditions. In contrast, event cameras capture changes in brightness asynchronously, offering low latency, high temporal resolution, and high dynamic range. These advantages make them suitable for robust perception during rapid motion and under challenging illumination. However, existing event camera datasets exhibit limitations in stereo configurations and multi-band sensing domains under various illumination conditions. To address this gap, we present M-SEVIQ, a multi-band stereo event visual and inertial quadruped dataset collected using a Unitree Go2 equipped with stereo event cameras, a frame-based camera, an inertial measurement unit (IMU), and joint encoders. This dataset contains more than 30 real-world sequences captured across different velocity levels, illumination wavelengths, and lighting conditions. In addition, comprehensive calibration data, including intrinsic, extrinsic, and temporal alignments, are provided to facilitate accurate sensor fusion and benchmarking. Our M-SEVIQ can be used to support research in agile robot perception, sensor fusion, semantic segmentation and multi-modal vision in challenging environments.