Hybrid Vision Servoing with Depp Alignment and GRU-Based Occlusion Recovery

📄 arXiv: 2510.25233v1 📥 PDF

作者: Jee Won Lee, Hansol Lim, Sooyeun Yang, Jongseong Brad Choi

分类: cs.RO

发布日期: 2025-10-29

💡 一句话要点

提出一种混合视觉伺服方法，结合深度对齐和GRU的遮挡恢复，提升机器人操作的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉伺服 遮挡恢复 深度学习 机器人控制 图像跟踪

📋 核心要点

  1. 传统视觉伺服方法在遮挡情况下表现不佳，深度学习方法则需要持续可见性且计算量大。
  2. 提出混合视觉伺服框架，结合模板匹配、深度特征LK、残差回归和GRU预测，实现遮挡下的鲁棒跟踪。
  3. 实验表明，该系统在高达90%遮挡的情况下，仍能保持2像素以下的跟踪误差，具有低延迟和高精度。

📝 摘要（中文）

本文提出了一种混合视觉跟踪框架，旨在解决视觉伺服系统中目标在部分或完全遮挡下的鲁棒跟踪问题。该框架融合了先进的感知技术与实时伺服控制。首先，快速全局模板匹配约束位姿搜索区域；然后，基于VGG早期层的深度特征Lucas-Kanade模块将对齐精度细化到亚像素级别（<2像素）；接着，轻量级的残差回归器校正由纹理退化或部分遮挡引起的局部未对齐。当视觉置信度低于阈值时，基于GRU的预测器从最近的运动历史中无缝地推断位姿更新。最后，平移、旋转和尺度变化量被打包成直接控制信号，用于30Hz的基于图像的伺服循环。在高达90%遮挡的手持视频序列上进行评估，该系统保持在2像素以下的跟踪误差，展示了可靠的实际机器人视觉应用所需的鲁棒性和低延迟精度。

🔬 方法详解

问题定义：视觉伺服系统在实际应用中面临遮挡问题，传统的Lucas-Kanade等方法对遮挡非常敏感，容易发生漂移。而基于深度学习的方法虽然精度较高，但通常需要目标持续可见，并且计算量较大，难以满足实时性要求。因此，如何在遮挡情况下实现鲁棒且实时的视觉伺服控制是一个关键问题。

核心思路：本文的核心思路是将传统的基于特征的跟踪方法与深度学习方法相结合，利用各自的优势。首先使用快速的全局模板匹配来缩小搜索范围，然后使用深度特征的Lucas-Kanade方法进行精确对齐，再通过残差回归器校正局部误差。当出现遮挡时，利用GRU网络预测位姿变化，从而实现鲁棒的跟踪。

技术框架：该混合视觉伺服框架主要包含以下几个模块：1) 快速全局模板匹配：用于初步确定目标的大致位置。2) 深度特征Lucas-Kanade模块：利用VGG网络的早期层提取的深度特征，进行亚像素级别的精确对齐。3) 残差回归器：用于校正由于纹理退化或部分遮挡引起的局部未对齐。4) 基于GRU的预测器：当视觉置信度较低时，利用GRU网络从历史运动信息中预测位姿变化。这些模块协同工作，最终输出平移、旋转和尺度变化量，作为伺服控制的输入。

关键创新：该方法最重要的创新点在于将传统的基于特征的跟踪方法与深度学习方法有机结合，并利用GRU网络进行遮挡预测。这种混合方法既能保证跟踪的精度和鲁棒性，又能满足实时性的要求。此外，将最终的输出直接作为伺服控制的输入，简化了控制流程。

关键设计：深度特征LK模块使用了VGG网络的早期层特征，因为这些特征包含更多的局部信息，有利于精确对齐。残差回归器是一个轻量级的网络，可以快速校正局部误差。GRU网络的输入是历史运动信息，输出是位姿变化量。视觉置信度阈值的设置需要根据具体应用场景进行调整。损失函数的设计需要综合考虑跟踪精度和鲁棒性。

📊 实验亮点

实验结果表明，该系统在高达90%遮挡的手持视频序列上，能够保持在2像素以下的跟踪误差。这表明该方法具有很强的鲁棒性和精度。与传统的基于特征的跟踪方法相比，该方法在遮挡情况下具有明显的优势。此外，该方法还具有较低的延迟，能够满足实时性要求，使其适用于实际的机器人视觉应用。

🎯 应用场景

该研究成果可广泛应用于机器人操作、无人机导航、自动驾驶等领域。在这些场景中，机器人需要在复杂的环境中进行精确的定位和控制，而遮挡是不可避免的问题。该方法能够提高机器人在遮挡环境下的鲁棒性和可靠性，从而提升其在实际应用中的性能。未来，该方法还可以与其他感知技术相结合，进一步提高机器人的环境适应能力。

📄 摘要（原文）

Vision-based control systems, such as image-based visual servoing (IBVS), have been extensively explored for precise robot manipulation. A persistent challenge, however, is maintaining robust target tracking under partial or full occlusions. Classical methods like Lucas-Kanade (LK) offer lightweight tracking but are fragile to occlusion and drift, while deep learning-based approaches often require continuous visibility and intensive computation. To address these gaps, we propose a hybrid visual tracking framework that bridges advanced perception with real-time servo control. First, a fast global template matcher constrains the pose search region; next, a deep-feature Lucas-Kanade module operating on early VGG layers refines alignment to sub-pixel accuracy (<2px); then, a lightweight residual regressor corrects local misalignments caused by texture degradation or partial occlusion. When visual confidence falls below a threshold, a GRU-based predictor seamlessly extrapolates pose updates from recent motion history. Crucially, the pipeline's final outputs-translation, rotation, and scale deltas-are packaged as direct control signals for 30Hz image-based servo loops. Evaluated on handheld video sequences with up to 90% occlusion, our system sustains under 2px tracking error, demonstrating the robustness and low-latency precision essential for reliable real-world robot vision applications.