Hybrid Vision Servoing with Depp Alignment and GRU-Based Occlusion Recovery

📄 arXiv: 2510.25233v1 📥 PDF

作者: Jee Won Lee, Hansol Lim, Sooyeun Yang, Jongseong Brad Choi

分类: cs.RO

发布日期: 2025-10-29

💡 一句话要点

提出一种混合视觉伺服方法，结合深度对齐和GRU的遮挡恢复，提升机器人操作的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉伺服 遮挡恢复 深度学习 机器人控制 GRU网络 图像跟踪 混合方法

📋 核心要点

  1. 传统视觉伺服方法在遮挡情况下表现不佳，深度学习方法则需要持续可见性且计算量大，限制了实际应用。
  2. 提出混合视觉伺服框架，结合模板匹配、深度特征LK、残差回归和GRU预测，实现遮挡下的鲁棒跟踪。
  3. 实验表明，该系统在高达90%遮挡的情况下，仍能保持2像素以下的跟踪误差，具有低延迟和高精度。

📝 摘要（中文）

本文提出了一种混合视觉跟踪框架，旨在解决视觉伺服系统中目标在部分或完全遮挡下鲁棒跟踪的难题。该框架融合了先进的感知技术与实时伺服控制。首先，快速全局模板匹配约束位姿搜索区域；然后，基于VGG早期层的深度特征Lucas-Kanade模块将对齐精度细化到亚像素级别（<2像素）；接着，轻量级的残差回归器校正由纹理退化或部分遮挡引起的局部未对准。当视觉置信度低于阈值时，基于GRU的预测器从最近的运动历史中无缝地推断位姿更新。至关重要的是，该流程的最终输出——平移、旋转和尺度变化量——被打包为直接控制信号，用于30Hz的基于图像的伺服回路。在高达90%遮挡的手持视频序列上进行评估，我们的系统保持在2像素以下的跟踪误差，展示了可靠的实际机器人视觉应用所需的鲁棒性和低延迟精度。

🔬 方法详解

问题定义：论文旨在解决视觉伺服系统中，由于目标遮挡导致跟踪精度下降甚至跟踪失败的问题。传统的基于特征点的跟踪方法（如LK光流）容易受到遮挡和漂移的影响，而基于深度学习的跟踪方法通常需要大量的计算资源，并且对目标的持续可见性有较高要求。这些问题限制了视觉伺服系统在复杂环境中的应用。

核心思路：论文的核心思路是将传统的基于特征的跟踪方法与深度学习方法相结合，构建一个混合的跟踪框架。该框架利用传统方法的计算效率和深度学习方法的鲁棒性，实现对遮挡目标的精确跟踪。通过引入GRU网络，可以利用历史运动信息预测目标位姿，从而在遮挡情况下维持跟踪。

技术框架：该混合视觉伺服框架包含以下几个主要模块： 1. 全局模板匹配：用于快速定位目标，缩小位姿搜索范围。 2. 深度特征Lucas-Kanade (DF-LK)：利用VGG网络的早期层提取的深度特征，进行亚像素级别的精确对齐。 3. 残差回归器：用于校正由于纹理退化或部分遮挡引起的局部未对准。 4. GRU位姿预测器：当视觉置信度较低时，利用GRU网络根据历史运动信息预测目标位姿。 整个流程的输出是平移、旋转和尺度变化量，作为控制信号输入到30Hz的图像伺服回路中。

关键创新：该方法的主要创新在于将深度特征的LK跟踪与GRU预测器相结合，实现了在遮挡情况下的鲁棒位姿估计。传统的LK跟踪方法容易受到遮挡的影响，而GRU预测器可以利用历史信息进行位姿预测，从而弥补了LK跟踪的不足。此外，使用残差回归器进一步提高了跟踪精度。

关键设计： * 深度特征选择：选择VGG网络的早期层特征，以保留更多的空间信息，有利于精确对齐。 * 残差回归器结构：采用轻量级的残差回归器，以减少计算量。 * GRU网络结构：GRU网络的具体层数和隐藏层大小未知，但其作用是学习目标的运动模式，并根据历史信息预测未来的位姿。 * 损失函数：损失函数的具体形式未知，但其目标是最小化预测位姿与真实位姿之间的误差。

📊 实验亮点

实验结果表明，该系统在高达90%遮挡的情况下，仍能保持2像素以下的跟踪误差。与传统的基于LK光流的跟踪方法相比，该方法在遮挡情况下具有更强的鲁棒性。该系统能够在30Hz的频率下运行，满足实时伺服控制的需求，证明了其在实际机器人应用中的可行性。

🎯 应用场景

该研究成果可应用于机器人抓取、装配、导航等领域，尤其是在存在遮挡或光照变化等复杂环境下的机器人操作。通过提高视觉伺服系统的鲁棒性和精度，可以实现更可靠、更智能的机器人应用，例如在拥挤的仓库中进行拣选，或在光线不足的环境中进行精密装配。未来，该技术有望进一步扩展到自动驾驶、增强现实等领域。

📄 摘要（原文）

Vision-based control systems, such as image-based visual servoing (IBVS), have been extensively explored for precise robot manipulation. A persistent challenge, however, is maintaining robust target tracking under partial or full occlusions. Classical methods like Lucas-Kanade (LK) offer lightweight tracking but are fragile to occlusion and drift, while deep learning-based approaches often require continuous visibility and intensive computation. To address these gaps, we propose a hybrid visual tracking framework that bridges advanced perception with real-time servo control. First, a fast global template matcher constrains the pose search region; next, a deep-feature Lucas-Kanade module operating on early VGG layers refines alignment to sub-pixel accuracy (<2px); then, a lightweight residual regressor corrects local misalignments caused by texture degradation or partial occlusion. When visual confidence falls below a threshold, a GRU-based predictor seamlessly extrapolates pose updates from recent motion history. Crucially, the pipeline's final outputs-translation, rotation, and scale deltas-are packaged as direct control signals for 30Hz image-based servo loops. Evaluated on handheld video sequences with up to 90% occlusion, our system sustains under 2px tracking error, demonstrating the robustness and low-latency precision essential for reliable real-world robot vision applications.