Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

📄 arXiv: 2609.27509v1 📥 PDF

作者: Preeti Chatterjee, Jin Lu, Jin Sun, Suchendra M. Bhandarkar

分类: cs.CV, cs.RO

发布日期: 2026-09-23

备注: 16 pages, 9 figures, 12 tables; includes supplementary material

💡 一句话要点

提出KYS-SLAM以解决立体视觉SLAM中的特征匹配问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 立体视觉SLAM 特征匹配 动态场景 语义增强 运动先验 模块化扩展 ORB-SLAM3 上下文证据

📋 核心要点

  1. 现有的立体视觉SLAM方法在特征匹配中面临语义模糊和动态物体干扰，导致数据关联不准确和轨迹漂移。
  2. KYS-SLAM通过将上下文证据重新构建为对应成本，采用连续的对应调制来替代特征拒绝，从而提高匹配的准确性。
  3. 在多个数据集上，KYS-SLAM在动态场景中表现出显著的性能提升，减少了17.4%至31.2%的平均绝对误差（ATE）RMSE。

📝 摘要（中文）

基于局部描述子的立体视觉SLAM系统面临语义模糊、实例级混淆和独立移动物体等问题，这些问题会破坏数据关联并导致轨迹漂移。现有的语义和动态SLAM方法通过二元特征拒绝来解决这些问题，但牺牲了对应密度。本文提出了Know-Your-Scene (KYS)-SLAM，这是ORB-SLAM3的模块化扩展，通过连续的对应调制替代特征拒绝。每个关键点都通过层次兼容性公式增强了语义、全景和运动先验，显著提高了特征匹配的准确性。实验结果表明，KYS-SLAM在多个数据集上显著降低了序列的平均绝对误差（ATE）RMSE，展示了其在动态场景下的优越性能。

🔬 方法详解

问题定义：本文旨在解决立体视觉SLAM中因语义模糊和动态物体导致的特征匹配不准确问题。现有方法通过特征拒绝来处理这些问题，但这会牺牲对应密度，影响整体性能。

核心思路：KYS-SLAM的核心思想是将上下文信息作为对应成本进行处理，而不是简单地拒绝不合适的特征。这种方法允许保留更多的几何支持，从而提高匹配的准确性。

技术框架：KYS-SLAM是ORB-SLAM3的模块化扩展，主要包括特征提取、语义增强、运动评分和对应调制等模块。每个关键点都被增强了语义和运动先验，通过层次兼容性公式进行融合。

关键创新：KYS-SLAM的创新在于将上下文证据转化为连续的对应成本，而不是采用传统的二元特征拒绝。这种方法能够更好地处理动态场景中的独立移动物体。

关键设计：KYS-SLAM使用了一个训练无关的模块来拟合深度感知的自我运动模型，并通过自校准的覆盖感知阈值对全景段进行分类，从而有效地惩罚独立移动物体的特征，同时保留静态结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KYS-SLAM在多个数据集上表现出色，尤其是在KITTI和EuRoC数据集上，分别减少了17.4%和27.7%的平均绝对误差（ATE）RMSE。此外，在动态子集上，KYS-SLAM的性能提升幅度达到6.6%至31.2%，显示出其在不同场景下的强大适应性。

🎯 应用场景

KYS-SLAM具有广泛的应用潜力，特别是在自动驾驶、机器人导航和增强现实等领域。其通过提高动态场景下的特征匹配准确性，能够显著提升系统的稳定性和可靠性，推动相关技术的进步与应用。

📄 摘要（原文）

Stereo visual SLAM systems built on local descriptors suffer from semantic ambiguity, instance-level confusion, and independently moving objects, each corrupting data association and accumulating as trajectory drift. Prevailing semantic and dynamic SLAM methods address this through binary feature rejection, sacrificing correspondence density for outlier suppression. We contend that contextual implausibility is better expressed as a graded quantity than an exclusion criterion. We present Know-Your-Scene (KYS)-SLAM, a modular extension of ORB-SLAM3 that supplants feature rejection with continuous correspondence modulation. The contribution is the reframing of contextual evidence as correspondence cost, applied within feature matching and leaving the geometric backend unmodified. Each keypoint is augmented with semantic, panoptic, and motion priors fused through a hierarchical compatibility formulation, in which semantic class and instance identity enforce structural plausibility while a zero-shot motion score down-weights features on independently moving objects. That score comes from a training-free module fitting a depth-aware ego-motion model to background optical flow and classifying panoptic segments via self-calibrating, coverage-aware thresholds, so only segments with sufficient motion evidence are penalized and static structure is left unpenalized. Penalizing correspondences rather than discarding them preserves the geometric support bundle adjustment depends on. Under one fixed configuration, no coefficient retuned per sequence or dataset, KYS-SLAM reduces per-sequence ATE RMSE by 17.4% on outdoor KITTI and 27.7% on indoor EuRoC across 21 stereo sequences with no regressions, and by 6.6% on dynamic subsets of KITTI Tracking and 17.8%, up to 31.2%, on Virtual KITTI 2 -- cross-domain transfer across outdoor driving, indoor flight, and synthetic imagery under one set of constants.