Real-time Event-camera Stereo Visual Odometry via Keytime Gaussian Process Regression

📄 arXiv: 2610.02601v1 📥 PDF

作者: Nikan Nobari, Jonathan D. Gammell

分类: cs.RO

发布日期: 2026-10-01

备注: Submitted to IEEE International Conference on Robotics and Automation (ICRA) 2027, 8 pages, 1 figures, 3 tables. The corresponding video can be found at https://youtu.be/MmpH8QYR76g

💡 一句话要点

提出实时事件相机立体视觉里程计以解决估计状态过大的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件相机 视觉里程计 高斯过程回归 实时处理 异步测量 机器人导航 增强现实

📋 核心要点

  1. 现有的事件相机视觉里程计方法在处理异步测量时，估计状态过大，导致计算效率低下。
  2. 本文提出了一种基于连续时间高斯过程回归的立体视觉里程计，通过插值技术减少估计状态，同时保持时间分辨率。
  3. 实验结果表明，所提方法在MVSEC和DSEC数据集上实时运行，准确性显著优于ES-PTAM，提升幅度达到11到15倍。

📝 摘要（中文）

事件相机具有微秒级的时间分辨率和高动态范围，使其在运动模糊和低光照条件下表现优于传统帧基相机。事件相机视觉里程计（VO）管道通过以原生时间分辨率处理异步事件流来最大化这些优势。本文提出了一种连续时间事件相机立体VO管道，能够在保持异步事件的原生测量时间的同时实现实时运行。通过将测量插值到其确切时间戳，并采用物理基础的白噪声加速度（WNOA）先验，减少了估计状态的规模。该管道在MVSEC和DSEC数据集上进行评估，实时估计的准确性优于现有的ES-PTAM方法，且在MVSEC和DSEC上分别以22 Hz和6 Hz的频率提供估计，RMS相对误差分别为0.46 cm和0.038度，性能提升显著。

🔬 方法详解

问题定义：本文旨在解决事件相机视觉里程计中由于异步测量导致的估计状态过大的问题，现有方法在处理这些测量时效率低下。

核心思路：提出一种新的连续时间事件相机立体视觉里程计管道，通过插值技术将测量时间对齐，结合物理基础的白噪声加速度先验，减少估计状态的规模。

技术框架：该管道包括数据采集、事件流处理、测量插值和状态估计四个主要模块，确保在保持高时间分辨率的同时实现实时计算。

关键创新：本研究的核心创新在于通过物理基础的WNOA先验有效解耦估计状态的规模与测量数量，保留了异步事件的特性。

关键设计：在参数设置上，采用了高斯过程回归模型，并设计了适应性插值算法，以确保测量的准确性和实时性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，所提方法在MVSEC和DSEC数据集上分别以22 Hz和6 Hz的频率提供估计，RMS相对误差为0.46 cm和0.038度，性能相比于ES-PTAM提升了11到15倍，展示了显著的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和无人驾驶汽车等场景，能够在复杂环境中提供高精度的定位与地图构建。其实时性能和高准确性将极大提升相关技术的实用性和可靠性。

📄 摘要（原文）

Event cameras have microsecond-level temporal resolution and high dynamic range which make them more resilient to motion blur and poor illumination than standard frame-based cameras. Event-camera visual odometry (VO) pipelines maximize these benefits when they process the asynchronous event stream at the native temporal resolution. Continuous-time Gaussian process (GP) regression and a white-noise-on-acceleration (WNOA) prior can handle asynchronous measurements but result in a prohibitively large estimation state when applied naively. This paper presents a continuous-time event-camera stereo VO pipeline that maintains the native measurement times of asynchronous events while also running in real time. It reduces the estimation states to keytimes while maintaining full temporal resolution by interpolating measurements to their exact timestamps with a physically founded WNOA prior. This decouples the state size from the dense number of measurements without discarding their asynchronous nature. The real-time continuous-time VO pipeline is evaluated on the MVSEC and DSEC datasets. It provides estimates in real time that are more accurate than ES-PTAM, a state-of-the-art discrete estimator, in all but one of the tested sequences. The pipeline respectively provides estimates at 22 Hz and 6 Hz on MVSEC and DSEC and RMS relative errors of 0.46 cm and 0.038 degrees across all valid sequences, which were 11 and 15 times better than ES-PTAM, respectively.