DAPEVO: Deep Adaptive Patch Frame-Event Visual Odometry

📄 arXiv: 2609.30947v1 📥 PDF

作者: Luca Gandolfi, Simone Nascivera, Roberto Pellerito, Rong Zou, Chiara Plizzari, Davide Scaramuzza

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出DAPEVO以解决视觉里程计在动态环境中的鲁棒性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉里程计 事件相机 模态融合 深度学习 自主导航 动态环境 运动估计 鲁棒性

📋 核心要点

  1. 现有的RGB视觉里程计方法在动态环境中容易受到运动模糊和光照变化的影响，导致跟踪精度下降。
  2. DAPEVO通过独立估计图像和事件的对应关系，并在共享补丁位置融合其证据，增强了视觉里程计的鲁棒性。
  3. 在UZH-FPV数据集上，DAPEVO在仅保留六分之一的RGB帧时，平均绝对轨迹误差（ATE）仅增加36%，显示出显著的性能提升。

📝 摘要（中文）

视觉里程计在GPS无法使用的环境中至关重要，但基于RGB的方法易受运动模糊、光照变化和丢帧的影响。事件相机以高时间分辨率和动态范围补充传统相机，但其异步测量使得可靠的对应估计变得复杂。本文提出DAPEVO，一个学习型视觉里程计系统，独立估计共享补丁位置的图像和事件对应关系，并在运动精炼前融合其相关证据。每个跟踪的补丁维护图像和事件描述符，学习的标量门结合每个补丁-帧边缘的特定模态相关嵌入，随后进行共享的递归精炼和束调整更新。DAPEVO还支持仅基于事件的观测，在RGB帧稀疏或不可用时继续跟踪，同时模态感知的关键帧剔除保留稀缺的帧约束。

🔬 方法详解

问题定义：本文旨在解决传统RGB视觉里程计在动态环境中面临的鲁棒性问题，尤其是运动模糊和光照变化导致的跟踪精度下降。现有方法在处理稀疏或丢失的RGB帧时表现不佳。

核心思路：DAPEVO的核心思想是通过独立估计图像和事件的对应关系，利用事件相机的高时间分辨率来增强视觉里程计的鲁棒性，并在共享补丁位置融合两种模态的信息。

技术框架：DAPEVO的整体架构包括多个模块：首先，独立跟踪图像和事件补丁；其次，使用学习的标量门结合不同模态的相关嵌入；最后，通过共享的递归精炼和束调整更新来优化运动估计。

关键创新：DAPEVO的主要创新在于其模态融合策略，通过学习的标量门动态调整不同模态的贡献，这与传统方法的静态融合方式形成鲜明对比。

关键设计：在设计中，DAPEVO使用了特定的损失函数来优化补丁的描述符，同时采用了递归神经网络结构来实现运动精炼，确保了系统在不同输入条件下的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UZH-FPV数据集上，DAPEVO在仅保留六分之一的RGB帧时，平均绝对轨迹误差（ATE）仅增加36%，从1.00m增加到1.36m，而DPVO和RAMP-VO的ATE分别增加了3.7倍和3.1倍。在TartanEvent数据集上，DAPEVO在3Hz的RGB输入下保持在1m以下的ATE，而DPVO和RAMP-VO则超过9m，显示出其在低质量输入下的优越性能。

🎯 应用场景

DAPEVO的研究成果在自动驾驶、无人机导航和机器人定位等领域具有广泛的应用潜力。其高鲁棒性的视觉里程计能力使得在GPS无法使用的环境中，依然能够实现精确的导航和定位，推动了自主系统的智能化发展。

📄 摘要（原文）

Visual odometry is essential for autonomous navigation in GPS-denied environments, yet RGB-based methods remain vulnerable to motion blur, challenging illumination, and dropped frames. Event cameras complement conventional cameras with high temporal resolution and dynamic range, but their asynchronous measurements complicate reliable correspondence estimation. We present DAPEVO, a learned visual odometry system that estimates image and event correspondences independently at shared patch locations and fuses their correlation evidence before motion refinement. Each tracked patch maintains image and event descriptors, and a learned scalar gate combines modality-specific correlation embeddings for each patch--frame edge before a shared recurrent refinement and bundle-adjustment update. DAPEVO also supports event-only observations, enabling continued tracking when RGB frames are sparse or unavailable, while modality-aware keyframe culling preserves scarce frame constraints. On UZH-FPV, when retaining only one in six RGB frames, DAPEVO's mean absolute trajectory error (ATE) increases by only 36%, from 1.00 to 1.36m, whereas the ATE of DPVO and RAMP-VO rises by factors of $3.7\times$ and $3.1\times$, respectively. On TartanEvent, DAPEVO similarly remains below 1m ATE at 3Hz RGB input, while DPVO and RAMP-VO exceed 9m. Under degraded RGB input on TartanEvent, DAPEVO achieves an ATE of 0.60m, compared with more than 4m for both DPVO and RAMP-VO, while also outperforming event-only DEVO at 0.87m.