Tightly-Coupled Radar-Visual-Inertial Odometry

📄 arXiv: 2603.23052v1 📥 PDF

作者: Morten Nissov, Mohit Singh, Kostas Alexis

分类: cs.RO

发布日期: 2026-03-24

备注: 8 pages, 9 figures, Accepted to the 2026 European Control Conference (ECC)

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种紧耦合雷达-视觉-惯性里程计，提升弱光、低纹理环境下的鲁棒性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 雷达-视觉-惯性里程计 紧耦合 状态估计 扩展卡尔曼滤波 多传感器融合

📋 核心要点

  1. VIO在弱光和低纹理环境中表现不佳，而RIO虽然鲁棒，但精度有限。
  2. 提出紧耦合雷达-视觉-惯性里程计，融合图像特征、雷达多普勒和IMU数据。
  3. 实验表明，该方法在各种环境和动态条件下都具有很强的鲁棒性。

📝 摘要（中文）

视觉-惯性里程计(VIO)因其通用性和性能，是受限和轻量级平台上可靠状态估计的主要方法。然而，在黑暗、低纹理、遮挡环境中稳健运行的挑战使其应用受限。另一方面，调频连续波(FMCW)雷达，以及雷达-惯性里程计(RIO)，对这些视觉挑战具有鲁棒性，但信息密度较低，长期精度较差。为了解决这些局限性，本文以紧耦合的方式结合了两者，使该方法能够在各种环境条件或轨迹动态下稳健运行。所提出的方法在迭代扩展卡尔曼滤波器(IEKF)中实时融合图像特征、雷达多普勒测量和惯性测量单元(IMU)测量，雷达测距数据增强了视觉特征的深度初始化。通过室内和室外环境中的飞行实验，以及对外部感知模态的挑战(如黑暗、雾或快速飞行)进行了评估，充分证明了其鲁棒性。该方法的实现可在https://github.com/ntnu-arl/radvio 获取。

🔬 方法详解

问题定义：现有VIO方法在光照不足、纹理匮乏或存在遮挡的环境中，定位精度和鲁棒性会显著下降。而RIO虽然对光照不敏感，但由于雷达信息密度较低，长期定位精度较差，容易出现漂移。因此，需要一种能够在各种环境条件下都能稳定可靠运行的里程计方案。

核心思路：本论文的核心思路是将视觉信息（图像特征）、雷达信息（多普勒测量和测距）和惯性信息（IMU）进行紧耦合融合。利用视觉信息提供高精度定位，利用雷达信息增强在恶劣环境下的鲁棒性，利用IMU信息提供高频率的运动估计。通过信息互补，克服单一传感器的局限性。

技术框架：该方法采用迭代扩展卡尔曼滤波器(IEKF)作为状态估计的框架。整体流程包括：1) 图像特征提取与跟踪；2) 雷达多普勒测量和测距；3) IMU数据预积分；4) IEKF状态预测；5) 视觉、雷达和IMU测量更新；6) 状态更新与迭代优化。雷达测距数据用于辅助视觉特征的深度初始化，提高初始化的速度和精度。

关键创新：该方法最重要的创新点在于将雷达多普勒测量信息紧耦合到VIO框架中。与以往仅仅使用雷达测距信息的方法相比，多普勒测量信息能够提供更丰富的运动信息，从而提高状态估计的精度和鲁棒性。此外，紧耦合的方式能够充分利用各种传感器之间的互补信息，实现更精确的状态估计。

关键设计：在IEKF框架中，状态向量包括位姿、速度、IMU偏差等。测量模型包括视觉重投影误差、雷达多普勒误差和IMU预积分误差。通过迭代优化，最小化这些误差，从而获得最优的状态估计。雷达测距信息用于初始化视觉特征的深度，可以加速初始化过程，并提高初始化的精度。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过室内和室外飞行实验，验证了该方法在各种环境条件下的鲁棒性。在黑暗、雾天等恶劣环境下，该方法仍然能够保持较高的定位精度。实验结果表明，与传统的VIO方法相比，该方法在鲁棒性和精度方面都有显著提升。具体性能数据未知。

🎯 应用场景

该研究成果可应用于无人机、机器人等需要在复杂环境下进行自主导航的场景，例如黑暗矿井、雾天环境、室内低纹理环境等。该方法能够提高机器人在这些环境下的定位精度和鲁棒性，从而实现更可靠的自主作业。未来，该技术有望应用于自动驾驶、智能安防等领域。

📄 摘要（原文）

Visual-Inertial Odometry (VIO) is a staple for reliable state estimation on constrained and lightweight platforms due to its versatility and demonstrated performance. However, pertinent challenges regarding robust operation in dark, low-texture, obscured environments complicate the use of such methods. Alternatively, Frequency Modulated Continuous Wave (FMCW) radars, and by extension Radar-Inertial Odometry (RIO), offer robustness to these visual challenges, albeit at the cost of reduced information density and worse long-term accuracy. To address these limitations, this work combines the two in a tightly coupled manner, enabling the resulting method to operate robustly regardless of environmental conditions or trajectory dynamics. The proposed method fuses image features, radar Doppler measurements, and Inertial Measurement Unit (IMU) measurements within an Iterated Extended Kalman Filter (IEKF) in real-time, with radar range data augmenting the visual feature depth initialization. The method is evaluated through flight experiments conducted in both indoor and outdoor environments, as well as through challenges to both exteroceptive modalities (such as darkness, fog, or fast flight), thoroughly demonstrating its robustness. The implementation of the proposed method is available at: https://github.com/ntnu-arl/radvio .