GR-VIP: Geometric representation conditioning for precise visuomotor policy

📄 arXiv: 2610.22997v1 📥 PDF

作者: Chanhwi Lee, Jiwon Seong, Eunje Choi, Hohyung Lee, Jongsoo Lee, Junyeong Bae, Inveom Kwak, Woosang Shin, Soohee Han

分类: cs.RO

发布日期: 2026-10-16

备注: Submitted to IEEE Robotics and Automation Letters (RA-L). 8 pages, 5 figures. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

💡 一句话要点

提出GR-VIP以解决移动机器人精确控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉运动控制 移动机器人 深度学习 相对姿态估计 精确导航 环境泛化

📋 核心要点

  1. 现有的视觉学习方法在精确控制和环境泛化方面存在不足，特别是在毫米级精度和零-shot迁移上表现有限。
  2. 论文提出的GR-VIP通过条件化动作预测于密集关系特征，利用预训练的视觉编码器来改善控制精度。
  3. 实验结果显示GR-VIP在实际对接任务中实现了高成功率和毫米级精度，且在未见环境中无需额外训练。

📝 摘要（中文）

实现精确的终端位置和朝向对齐仍然是基于学习的移动机器人控制中的重大挑战。近期的视觉学习方法在精确的目标相对控制和对未见环境的泛化方面显示出潜力，但通用视觉表示并未专门设计以捕捉当前视图与目标视图之间所需的细微空间差异。为了解决这些挑战，本文提出了几何表示条件化的精确视觉运动策略（GR-VIP），该策略利用预训练的视觉编码器进行相对相机姿态估计。GR-VIP在动作预测中条件化于姿态回归之前生成的密集关系特征，从而保留细粒度的跨视图信息，以便从演示中学习纠正动作。我们在实际的对接任务中评估了GR-VIP，展示了在训练和未见环境中均具有高对接成功率和毫米级终端精度的能力，且无需额外训练以实现迁移。

🔬 方法详解

问题定义：本文旨在解决基于学习的移动机器人控制中的精确终端位置和朝向对齐问题。现有方法在捕捉细微空间差异和实现毫米级精度方面存在不足，特别是在未见环境中的迁移能力有限。

核心思路：GR-VIP的核心思路是利用预训练的视觉编码器，通过条件化动作预测于姿态回归之前的密集关系特征，保留细粒度的跨视图信息，从而提高控制精度和泛化能力。

技术框架：GR-VIP的整体架构包括视觉编码器、动作预测模块和反馈机制。视觉编码器负责提取图像特征，动作预测模块基于这些特征生成控制指令，反馈机制用于调整和优化控制策略。

关键创新：GR-VIP的主要创新在于其条件化机制，通过使用密集关系特征而非最终的相对姿态估计，显著提高了对细微空间差异的捕捉能力，与传统方法相比，能够更好地学习纠正动作。

关键设计：在关键设计上，GR-VIP采用了特定的损失函数以优化动作预测的准确性，并在网络结构中引入了多层特征提取，以增强对复杂环境的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GR-VIP在实际对接任务中实现了超过90%的成功率，并在训练和未见环境中均达到了毫米级的终端精度，显示出显著的性能提升，且无需额外的迁移训练。

🎯 应用场景

该研究的潜在应用领域包括自主移动机器人、无人驾驶汽车和智能制造等，能够在复杂环境中实现高精度的导航和操作。未来，GR-VIP有望推动机器人技术在实际应用中的广泛采用，提升自动化水平和效率。

📄 摘要（原文）

Achieving precise terminal position and heading alignment remains a significant challenge for learning-based mobile robot control. Recent vision-based learning methods have shown promise for precise target-relative control and generalization to unseen environments with pretrained visual encoders, but general-purpose visual representations are not specifically designed to capture the fine-grained spatial differences between current and goal views required for precise control, and real-world demonstrations combining millimeter-scale terminal accuracy with zero-shot transfer across environments remain limited. To address these challenges, we propose Geometric Representation Conditioning for Precise Visuomotor Policy (GR-VIP), a goal-conditioned visuomotor policy that leverages a visual encoder pretrained for relative camera pose estimation. Rather than using the final relative-pose estimate, GR-VIP conditions action prediction on the dense relational features produced before pose regression, preserving fine-grained cross-view information for learning corrective actions from demonstrations. We evaluate GR-VIP on a real-world docking task and demonstrate high docking success rates and millimeter-scale terminal accuracy in both the training and unseen environments, without additional training for transfer. Furthermore, supplementary experiments illustrate the policy's ability to align with non-docking targets and complete docking under a tested low-light condition.