IMU-Aided Event-based Stereo Visual Odometry
作者: Junkai Niu, Sheng Zhong, Yi Zhou
分类: cs.RO, cs.CV
发布日期: 2024-05-07
备注: 10 pages, 7 figures, ICRA
💡 一句话要点
提出一种IMU辅助的事件相机立体视觉里程计，提升了跟踪精度和建图效率。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 事件相机 视觉里程计 立体视觉 IMU融合 直接法 边缘检测 机器人导航
📋 核心要点
- 现有基于事件的视觉里程计在建图方面计算复杂度高，跟踪精度有限，是主要瓶颈。
- 本文提出一种基于事件局部动态的边缘像素采样策略加速建图，并结合时间立体和静态立体结果提升建图质量。
- 通过预积分引入陀螺仪测量作为先验，解决了6自由度运动偏航分量恢复的退化问题，并在公开数据集上验证了改进效果。
📝 摘要（中文）
本文改进了作者之前提出的基于事件的立体视觉里程计直接法流程，旨在提高精度和效率。为了加速建图操作，提出了一种基于事件局部动态的有效边缘像素采样策略。通过结合时间立体结果和静态立体结果，提高了建图的完整性和局部平滑性。为了规避相机姿态跟踪在恢复6自由度运动的偏航分量时的退化问题，通过预积分引入了陀螺仪测量作为先验。在公开数据集上的实验证明了本文的改进。该流程已开源，以供未来研究。
🔬 方法详解
问题定义：现有基于事件的视觉里程计方法，特别是直接法，在建图和相机姿态跟踪两个子问题上面临挑战。建图方面，计算复杂度高，难以实时处理大量事件数据。跟踪方面，在恢复6自由度运动时，尤其是在偏航角（yaw）的估计上，容易出现退化现象，导致精度下降。
核心思路：本文的核心思路是通过优化事件数据的处理方式和引入外部传感器信息来解决上述问题。具体来说，通过边缘像素采样策略减少建图所需的计算量，并利用时间立体和静态立体信息融合提升建图质量。同时，利用IMU（惯性测量单元）中的陀螺仪数据，通过预积分的方式为相机姿态跟踪提供旋转先验，从而克服偏航角估计的退化问题。
技术框架：该方法基于一个直接法的事件相机立体视觉里程计框架。主要包含以下几个模块：1) 事件预处理：对原始事件数据进行滤波和去噪。2) 边缘像素采样：根据事件的局部动态，选择具有代表性的边缘像素进行后续处理。3) 立体匹配与深度估计：利用立体事件相机的数据，进行立体匹配，估计场景深度。4) 地图构建与优化：将深度信息融合到地图中，并进行优化，提高地图的质量。5) 基于IMU预积分的相机姿态跟踪：利用陀螺仪数据进行预积分，为相机姿态估计提供旋转先验，并结合视觉信息进行姿态优化。
关键创新：本文的关键创新在于以下两点：1) 提出了基于事件局部动态的边缘像素采样策略，有效减少了建图的计算量，提高了建图效率。2) 将IMU数据通过预积分的方式引入到视觉里程计中，为相机姿态跟踪提供了可靠的旋转先验，克服了偏航角估计的退化问题。
关键设计：边缘像素采样策略的具体实现可能涉及计算事件的时空梯度，并选择梯度较大的像素作为边缘像素。IMU预积分可能采用中值积分或其他数值积分方法，将陀螺仪的角速度测量值积分得到旋转增量。相机姿态跟踪可能采用非线性优化方法，如Bundle Adjustment，将视觉重投影误差和IMU预积分误差作为优化目标。
🖼️ 关键图片
📊 实验亮点
论文在公开数据集上进行了实验，验证了所提出方法的有效性。通过边缘像素采样策略，建图效率得到了显著提升。引入IMU预积分后，相机姿态跟踪的精度也得到了提高，尤其是在偏航角的估计上。具体的性能数据（例如，建图速度提升百分比、姿态估计误差降低百分比）需要在论文中查找。
🎯 应用场景
该研究成果可应用于机器人导航、增强现实、无人机自主飞行等领域。在光照条件差、运动速度快等复杂环境下，事件相机结合IMU能够提供更鲁棒和精确的定位和建图能力，具有重要的实际应用价值和广阔的发展前景。
📄 摘要（原文）
Direct methods for event-based visual odometry solve the mapping and camera pose tracking sub-problems by establishing implicit data association in a way that the generative model of events is exploited. The main bottlenecks faced by state-of-the-art work in this field include the high computational complexity of mapping and the limited accuracy of tracking. In this paper, we improve our previous direct pipeline \textit{Event-based Stereo Visual Odometry} in terms of accuracy and efficiency. To speed up the mapping operation, we propose an efficient strategy of edge-pixel sampling according to the local dynamics of events. The mapping performance in terms of completeness and local smoothness is also improved by combining the temporal stereo results and the static stereo results. To circumvent the degeneracy issue of camera pose tracking in recovering the yaw component of general 6-DoF motion, we introduce as a prior the gyroscope measurements via pre-integration. Experiments on publicly available datasets justify our improvement. We release our pipeline as an open-source software for future research in this field.