Does Robust VIO Need More Learning? Geometry-Verified Visual Measurements under Distribution Shift
作者: Yangyang Ning, Shu Liang, Quanbo Ge, Tianchen Deng, Yuhua Qi, Shenghai Yuan
分类: cs.RO
发布日期: 2026-07-20
💡 一句话要点
提出最小学习立体VIO框架以应对分布变化问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉惯性测程 分布变化 几何验证 不确定性感知 稠密对应关系 鲁棒性 立体视觉 机器学习
📋 核心要点
- 现有的VIO方法在训练和部署条件不同的情况下，鲁棒性不足，难以应对分布变化带来的挑战。
- 本文提出了一种最小学习的立体VIO框架，利用SEA-RAFT生成稠密对应关系，同时保持其他过程显式，以提高鲁棒性。
- 实验结果表明，该方法在多种复杂场景下均能实现稳定的估计，且通过消融实验验证了学习与几何验证结合的重要性。
📝 摘要（中文）
随着学习方法逐渐引入视觉惯性测程（VIO），从学习特征前端到学习主导的运动和几何估计，本文探讨在分布变化下，增强VIO的鲁棒性是否真正需要更深的学习估计，或是否可以将学习限制在视觉测量生成上。我们提出了一种最小学习的立体VIO框架，利用SEA-RAFT生成稠密立体对应关系并预测其不确定性，同时保持时间跟踪、几何验证和状态估计为显式过程。实验结果表明，该方法在运动模糊、动态场景、光照变化及室内外大规模分布变化下均能实现准确稳定的估计。通过消融实验发现，仅依赖学习的流动不足以提升性能，结合几何验证和不确定性感知加权的组合才是关键。
🔬 方法详解
问题定义：本文旨在解决在分布变化情况下，现有VIO方法鲁棒性不足的问题。传统方法在训练和实际应用中存在较大差异，导致性能下降。
核心思路：我们提出了一种最小学习的立体VIO框架，主要将学习限制在视觉测量生成上，而非整个估计过程，以提高在不同条件下的鲁棒性。
技术框架：该框架包括几个主要模块：使用SEA-RAFT生成稠密立体对应关系，进行时间跟踪，几何验证，以及状态估计。稠密流动在稀疏特征位置进行采样，并通过不确定性和立体极线一致性进行过滤，最终通过加权重投影因子整合到滑动窗口立体惯性估计器中。
关键创新：最重要的创新在于将学习的视觉测量与几何验证和不确定性感知加权相结合，表明仅依赖学习流动不足以提升性能，反而需要综合考虑几何信息。
关键设计：在设计中，关键参数包括不确定性预测和立体三角测量的传播方式，确保下游的各项任务能够有效利用这些信息进行三维高斯映射。通过这种设计，我们能够在复杂的动态场景中保持高精度和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的最小学习立体VIO框架在EuRoC、VIODE和4Seasons数据集上表现出色，能够在运动模糊和动态场景中实现准确稳定的估计。与基线方法相比，结合几何验证和不确定性感知加权的组合显著提升了鲁棒性，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够在不同环境条件下提供稳定的定位和地图构建能力。未来，该方法有望推动VIO技术在更广泛的实际应用中的落地，提升智能系统的自主性和可靠性。
📄 摘要（原文）
Learning is increasingly introduced into visual-inertial odometry (VIO), ranging from learned feature front-ends to learning-dominant motion and geometry estimation. However, learning more of the pipeline does not necessarily improve robustness when deployment conditions differ from the training distribution. This work asks whether robust VIO under distribution shift truly requires deeper learned estimation, or whether learning can be confined to visual measurement generation. We propose a minimal-learning stereo VIO framework in which SEA-RAFT is used only to propose dense stereo correspondences and predict their uncertainty, while temporal tracking, geometric verification, and state estimation remain explicit. Dense flow is sampled at sparse feature locations, filtered using predicted uncertainty and stereo epipolar consistency, and incorporated into a sliding-window stereo-inertial estimator through uncertainty-weighted reprojection factors. The same uncertainty is further propagated through stereo triangulation for downstream anisotropic 3D Gaussian mapping. Experiments on EuRoC, VIODE, and 4Seasons demonstrate accurate and stable estimation under motion blur, dynamic scenes, illumination changes, and large indoor-to-outdoor distribution shifts. Ablations show that learned flow alone is insufficient: the gains arise from combining learned correspondence proposals with geometric verification and uncertainty-aware weighting. These results suggest that, for OOD-robust VIO, carefully integrated learned visual measurements can be more effective than learning a larger fraction of the estimation pipeline. Code and configs for the benchmark will be open-source upon acceptance. A supplementary video is available at https://drive.google.com/file/d/1EVRhOkhanmNXHbQS1Vr80FoEIAYOYOV2/view