WM-VS: Progress-Aligned World Models for Closed-Loop Visual Servoing

📄 arXiv: 2609.20892v1 📥 PDF

作者: Guanzhong Sun, Junyi Ma, Yixuan Zhou, Yuxuan Wu, Yanzi Miao, Hesheng Wang

分类: cs.RO, cs.CV

发布日期: 2026-09-17

💡 一句话要点

提出WM-VS框架以解决闭环视觉伺服中的预测控制不匹配问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 闭环视觉伺服 世界模型 进度对齐 动作模仿 机器人控制 误差减少 DINOv2 反应式策略

📋 核心要点

  1. 现有的闭环视觉伺服方法在预测控制时存在预测与控制之间的不匹配，无法有效判断动作是否能减少任务误差。
  2. 本文提出WM-VS框架，通过目标中心的进度对齐世界模型，解决了预测控制不匹配的问题，增强了动作的有效性评估。
  3. 在真实实验中，WM-VS在30次试验中成功将角落均方根误差降低至初始值的10%以内，显示出显著的性能提升。

📝 摘要（中文）

闭环视觉伺服需要预测是否能减少任务误差，而不仅仅是判断动作的可行性。为此，本文提出WM-VS，一个以目标为中心的进度对齐世界模型框架。通过离线目标区域DINOv2对应关系定义了一个用于平移、缩放和面内旋转的带符号四维伺服坐标。第一阶段将动作条件下的潜在转移与该坐标对齐；第二阶段冻结世界模型，并通过动作模仿、后果监督和短期想象回滚训练反应式关节速度策略。实验表明，WM-VS在真实的7自由度眼手系统上，达到的角落均方根误差不超过初始值的10%，并在25/30次试验中保持该标准。去除未来误差对齐会显著降低保留率。该研究结果表明进度对齐的动作后果与重复的闭环修正和迁移相关。

🔬 方法详解

问题定义：本文旨在解决闭环视觉伺服中的预测控制不匹配问题。现有方法仅关注动作的可行性，而未能有效评估动作对任务误差的影响。

核心思路：WM-VS框架通过引入目标中心的进度对齐机制，确保预测结果能够有效指导控制决策，从而减少任务误差。

技术框架：该框架分为两个主要阶段：第一阶段对动作条件下的潜在转移进行对齐，第二阶段冻结世界模型并训练反应式关节速度策略。

关键创新：最重要的创新在于引入了进度对齐的世界模型，使得动作后果与闭环修正过程紧密关联，从而提升了控制的有效性。

关键设计：采用离线目标区域DINOv2对应关系定义四维伺服坐标，设计了多种损失函数以优化动作模仿和后果监督，确保模型在训练过程中的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WM-VS在真实7自由度眼手系统中，成功将角落均方根误差降低至初始值的10%以内，并在25/30次试验中保持该标准。去除未来误差对齐后，保留率显著下降至26.67%。此外，未经过训练的两个3D目标的平移误差分别降低86.48%和90.27%，旋转误差降低70.01%和65.70%。

🎯 应用场景

WM-VS框架在机器人控制、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高闭环视觉伺服的精确性和可靠性，该研究能够推动机器人在复杂环境中的自主操作能力，提升人机交互的智能化水平。

📄 摘要（原文）

Closed-loop visual servoing requires predictions that indicate whether an action reduces task error, not only whether the action is plausible. We call this gap the prediction-control mismatch and introduce WM-VS, a target-centric progress-aligned world-model framework for closed-loop visual servoing. Offline target-region DINOv2 correspondences define a signed four-dimensional servo coordinate for translation, scale, and in-plane rotation. Stage 1 aligns action-conditioned latent transitions with this coordinate; Stage 2 freezes the world model and trains a reactive joint-velocity policy with action imitation, consequence supervision, and short imagined rollouts that favor error contraction. Deployment is RGB-only and reactive, without online trajectory optimization. On a real 7-DoF eye-to-hand system, WM-VS reaches a corner RMSE no larger than 10 percent of its initial value in 30/30 trials and retains this criterion at the final valid frame in 25/30 (83.33 percent). Removing future-error alignment reduces retention to 26.67 percent. The learned progress signal agrees with an external AprilTag corner error not used for training or control (mean Spearman rho = 0.8778). Without retraining, two unseen 3D targets achieve translation-error reductions of 86.48 percent and 90.27 percent and rotation-error reductions of 70.01 percent and 65.70 percent. These results link progress-aligned action consequences to repeated closed-loop correction and transfer. Code and data will be released as open source.