Vector-Quantized World Model: Latent Feedback Motion Planning for Robot Manipulation
作者: Xuezhou Xu, Chung-Pang Wang, Zhenzhen Li, Benjamin Riviere
分类: cs.RO
发布日期: 2026-10-19
💡 一句话要点
提出向量量化世界模型以解决机器人长时间操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 向量量化 世界模型 机器人操控 长时间规划 视觉反馈控制 运动规划 汉诺塔难题 智能机器人
📋 核心要点
- 现有的机器人操控方法在长时间规划中面临预测误差累积和搜索复杂度高的问题，导致低级控制器难以实现目标。
- 本文提出的向量量化世界模型通过离散搜索与连续反馈控制相结合，能够有效规划长时间的操控路径。
- 实验结果表明，VQ-WM在汉诺塔操控任务中实现了100%的成功率，并在多个基准测试中超越了现有世界模型，提升幅度达13.3至85.3个百分点。
📝 摘要（中文）
视觉世界模型在机器人规划中展现出强大潜力，但由于预测误差累积、搜索复杂度高以及低级控制器无法可靠到达潜在计划，长时间操控仍然面临挑战。本文提出了向量量化世界模型（VQ-WM），一种将离散长时间搜索与连续视觉反馈控制相结合的潜在反馈运动规划框架。该框架通过离散潜在预测器建模向量量化潜在状态之间的转变，使规划者能够远期规划并通过离散搜索找到最短路径，而连续学习控制器则通过视觉反馈逐步达到计划状态，纠正偏差以减轻误差累积。我们在物理机器人操控汉诺塔难题上进行评估，结果显示该方法在仅使用短期数据的情况下实现了100%的成功率，超越了现有的基础模型，展示了其在长时间解决方案组合和可靠执行方面的能力。
🔬 方法详解
问题定义：本文旨在解决机器人在长时间操控中面临的预测误差累积、搜索复杂度高以及低级控制器无法可靠到达潜在计划的问题。现有方法在处理复杂任务时表现不佳，尤其是在长时间规划中。
核心思路：提出的向量量化世界模型（VQ-WM）通过引入离散潜在预测器和连续视觉反馈控制，允许规划者进行长时间的离散搜索，从而找到最短路径，并通过视觉反馈纠正执行过程中的偏差。
技术框架：VQ-WM的整体架构包括离散潜在预测器、离散搜索模块和连续控制器。离散潜在预测器负责建模潜在状态之间的转变，搜索模块用于寻找最优路径，而连续控制器则通过视觉反馈实现对计划状态的逐步到达。
关键创新：本研究的关键创新在于使用了一种新颖的首次通过时间估计作为准度量，替代传统的欧几里得距离，从而更好地对接规划抽象与控制器能力。
关键设计：在设计中，参数设置和损失函数经过精心调整，以确保离散预测器和连续控制器的有效协同。此外，网络结构的设计考虑了如何在复杂环境中实现高效的状态转移和反馈控制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VQ-WM在汉诺塔操控任务中实现了100%的成功率，显著优于现有的基础模型。此外，在多个模拟基准测试中，VQ-WM的表现提升幅度达13.3至85.3个百分点，展示了其在操控和运动方面的卓越能力。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、自动化制造和智能家居等场景。通过提高机器人在复杂任务中的操控能力，VQ-WM能够在实际应用中实现更高的效率和可靠性，推动智能机器人技术的进一步发展。未来，该方法可能在更广泛的机器人任务中展现出其适用性和优势。
📄 摘要（原文）
Visual world models have shown strong potential for robot planning, yet long-horizon manipulation remains challenging due to compounding prediction errors, large search complexity, and latent plans that the low-level controller cannot reliably reach. In this work, we introduce Vector-Quantized World Model (VQ-WM), a latent feedback motion planning framework that integrates discrete long-horizon search with continuous visual feedback control: a discrete latent predictor models transitions between vector-quantized latent states, allowing the planner to look far ahead and find a shortest path to the goal through discrete search and a continuous learned controller sequentially reaches the planned states through visual feedback, correcting deviations to mitigate compounding errors. Whereas most vector quantization uses Euclidean distance, we use a novel estimator of the first-passage-time as a quasi-metric, which aligns the planning abstraction with the controller's capabilities. We evaluate on the physical robot manipulation of the Tower of Hanoi puzzle: whereas existing state-of-the-art foundation models (VLAs, WAMs) only succeed when the solution trace in their training dataset, our method achieves 100\% success rate with only short-play data, demonstrate its ability to compose long-horizon solutions beyond the short demonstrated trajectories and execute them reliably. Our solution also outperforms strongest world-models by 13.3--85.3 percentage points on simulation benchmarks spanning manipulation and locomotion, demonstrating consistent progress and new capabilities.