Adaptive VIO: Deep Visual-Inertial Odometry with Online Continual Learning

📄 arXiv: 2405.16754v1 📥 PDF

作者: Youqi Pan, Wugen Zhou, Yingdian Cao, Hongbin Zha

分类: cs.RO

发布日期: 2024-05-27

💡 一句话要点

提出Adaptive VIO，结合在线持续学习的深度视觉惯性里程计，提升泛化能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉惯性里程计 在线持续学习 深度学习 非线性优化 自监督学习

📋 核心要点

  1. 现有VIO方法难以适应不同环境和传感器属性，泛化能力不足，限制了其在复杂场景下的应用。
  2. Adaptive VIO结合在线持续学习与传统非线性优化，通过学习-优化结合的框架和反馈机制，提升系统适应性。
  3. 实验结果表明，Adaptive VIO在EuRoC和TUM-VI数据集上表现出良好的适应能力，性能优于现有学习方法。

📝 摘要（中文）

视觉惯性里程计(VIO)因其低成本和互补传感器而获得了显著成功。然而，现有的VIO方法缺乏适应不同环境和传感器属性的泛化能力。本文提出了一种新的单目视觉惯性里程计Adaptive VIO，它将在线持续学习与传统的非线性优化相结合。Adaptive VIO包含两个网络，用于预测视觉对应关系和IMU偏差。与使用网络融合来自两种模态（相机和IMU）的特征并直接预测姿势的端到端方法不同，我们在VIO系统中将神经网络与视觉惯性捆绑调整相结合。优化后的估计将反馈到视觉和IMU偏差网络，以自监督的方式改进网络。这种学习-优化相结合的框架和反馈机制使系统能够执行在线持续学习。实验表明，我们的Adaptive VIO在EuRoC和TUM-VI数据集上表现出适应能力。总体性能超过了目前已知的基于学习的VIO方法，并且与最先进的基于优化的方法相当。

🔬 方法详解

问题定义：现有的视觉惯性里程计（VIO）方法在面对不同环境和传感器配置时，泛化能力不足。这意味着针对特定数据集训练的模型，在新的、未见过的数据集上表现会显著下降。这种缺乏适应性的问题限制了VIO在实际应用中的部署，尤其是在动态和变化的环境中。

核心思路：Adaptive VIO的核心思路是将深度学习的自适应能力与传统非线性优化的精确性相结合。通过神经网络学习视觉特征和IMU偏差，并利用优化方法进行姿态估计，形成一个闭环反馈系统。这种结合使得系统能够在运行过程中不断学习和适应新的环境和传感器特性。

技术框架：Adaptive VIO系统包含两个主要的网络模块：视觉对应网络和IMU偏差网络。这两个网络分别用于预测图像特征之间的对应关系和IMU的偏差。系统首先利用这些网络进行初步的姿态估计，然后通过视觉惯性捆绑调整（Visual-Inertial Bundle Adjustment）进行优化。优化后的结果会反馈回这两个网络，用于更新网络的参数，从而实现在线持续学习。

关键创新：Adaptive VIO的关键创新在于其学习-优化相结合的框架和在线持续学习机制。与传统的端到端学习方法不同，Adaptive VIO将神经网络作为优化的辅助工具，而不是直接预测姿态。这种结合方式既利用了神经网络的自适应能力，又保留了优化方法的精确性。在线持续学习机制使得系统能够在运行过程中不断学习和适应新的环境和传感器特性，从而提高了泛化能力。

关键设计：视觉对应网络和IMU偏差网络的具体结构未知，但可以推测视觉对应网络可能采用卷积神经网络（CNN）提取图像特征，并使用某种匹配算法（如光流法或特征匹配）建立对应关系。IMU偏差网络可能采用循环神经网络（RNN）或Transformer来建模IMU数据的时序依赖关系，并预测偏差值。损失函数的设计可能包括姿态估计误差、视觉重投影误差和IMU测量误差等。具体的参数设置和网络结构需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Adaptive VIO在EuRoC和TUM-VI数据集上进行了实验验证，结果表明其性能超过了现有的基于学习的VIO方法，并且与最先进的基于优化的方法相当。这表明Adaptive VIO在保持较高精度的同时，还具有良好的泛化能力和适应性。具体的性能数据和提升幅度需要在论文中进一步查找。

🎯 应用场景

Adaptive VIO具有广泛的应用前景，包括增强现实（AR）、虚拟现实（VR）、机器人导航、无人机自主飞行等领域。其在线持续学习能力使其能够适应不同的环境和传感器配置，从而在动态和变化的环境中实现更鲁棒和精确的定位和导航。该研究的实际价值在于提高了VIO系统的泛化能力和适应性，为VIO在更广泛的应用场景中的部署奠定了基础。

📄 摘要（原文）

Visual-inertial odometry (VIO) has demonstrated remarkable success due to its low-cost and complementary sensors. However, existing VIO methods lack the generalization ability to adjust to different environments and sensor attributes. In this paper, we propose Adaptive VIO, a new monocular visual-inertial odometry that combines online continual learning with traditional nonlinear optimization. Adaptive VIO comprises two networks to predict visual correspondence and IMU bias. Unlike end-to-end approaches that use networks to fuse the features from two modalities (camera and IMU) and predict poses directly, we combine neural networks with visual-inertial bundle adjustment in our VIO system. The optimized estimates will be fed back to the visual and IMU bias networks, refining the networks in a self-supervised manner. Such a learning-optimization-combined framework and feedback mechanism enable the system to perform online continual learning. Experiments demonstrate that our Adaptive VIO manifests adaptive capability on EuRoC and TUM-VI datasets. The overall performance exceeds the currently known learning-based VIO methods and is comparable to the state-of-the-art optimization-based methods.