Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control

📄 arXiv: 2609.20575v1 📥 PDF

作者: Yilang Liu, Haoxiang You, Qian Wang, Daniel Rakita, Ian Abraham

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-09-17

备注: 8 pages, 6 figures

💡 一句话要点

提出SGPS以解决视觉策略学习中的计算成本问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉策略学习 模型预测控制 一阶策略梯度 采样引导 机器人自主行为

📋 核心要点

  1. 现有方法在视觉策略学习中面临高计算成本和内存开销，且局部优化容易导致不理想的接触模式。
  2. 本文提出的SGPS方法通过结合基于采样的模型预测控制与一阶策略优化，改善了策略学习的效率和效果。
  3. 实验结果显示，SGPS在多种任务中表现优异，且经过蒸馏的策略能够有效迁移到真实机器人上，展现出良好的自主行为能力。

📝 摘要（中文）

学习视觉策略以实现运动和操作需要协调与环境的接触，往往会导致显著的计算和GPU内存开销。虽然一阶策略梯度（FoPG）通过可微分仿真降低了训练成本，但局部优化可能会收敛到意外的接触模式。为了解决这一问题，本文提出了采样引导策略搜索（SGPS），将基于采样的模型预测控制与一阶策略优化相结合。行为克隆从采样动作初始化策略；训练过程中交替进行基于采样的精炼和在扰动初始状态及随机动态下的短视程FoPG更新。实验表明，SGPS在单个GPU上能够为模拟的Unitree Go2和G1机器人学习运动、障碍物穿越、箱子推动和双手携带的策略，并且精炼过程在策略学习上超越了单纯的初始化和跟踪。经过蒸馏的策略能够零-shot迁移到真实的Go2机器人上，利用机载深度传感器自主完成各种行为。

🔬 方法详解

问题定义：本文旨在解决视觉策略学习中的高计算成本和不理想的接触模式问题。现有的一阶策略梯度方法在局部优化时容易陷入次优解，导致策略效果不佳。

核心思路：提出的SGPS方法通过结合采样引导的模型预测控制与一阶策略优化，利用采样动作进行策略初始化，并在训练过程中交替进行采样精炼和FoPG更新，以提高策略学习的稳定性和效率。

技术框架：SGPS的整体架构包括行为克隆初始化、基于采样的动作精炼和短视程FoPG更新三个主要模块。训练过程中，首先通过采样生成动作，然后利用这些动作进行策略的初始训练，接着在扰动状态下进行短视程的优化更新。

关键创新：SGPS的主要创新在于将采样引导的控制与一阶策略优化相结合，形成了一种新的训练机制，能够有效避免局部优化带来的不良影响，与传统方法相比，显著提升了策略学习的效果。

关键设计：在SGPS中，损失函数设计为结合采样精炼和FoPG更新的复合损失，网络结构采用解耦的FoPG形式，避免了渲染过程对计算图的影响，从而直接从深度观测中学习策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SGPS在多种任务中均表现出色，尤其是在运动、障碍物穿越和双手携带等任务上，策略学习的效率显著提高。此外，经过蒸馏的策略能够在真实Go2机器人上实现零-shot迁移，成功完成自主行走、爬行和跨越障碍等行为。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和人机交互等。通过提高视觉策略学习的效率和效果，SGPS能够在复杂环境中实现更为灵活和高效的机器人操作，推动智能机器人技术的发展。

📄 摘要（原文）

Learning visual policies for locomotion and manipulation requires coordinating contact with the environment and can incur substantial computation and GPU memory costs. First-order policy gradients (FoPG) reduce training cost through differentiable simulation, but local optimization can converge to unintended contact patterns. To address this shortfall, we propose Sampling-Guided Policy Search (SGPS), which couples recurring action-target refinement by sampling-based model-predictive control with first-order policy optimization. Behavior cloning initializes the policy from sampled actions; training then alternates sampling-based refinement with short-horizon FoPG updates under perturbed initial states and randomized dynamics. For visual policy training, we use a decoupled FoPG formulation that excludes rendering from the computation graph, enabling direct learning from depth observations without a state-policy teacher. On a single GPU, SGPS learns policies for locomotion, obstacle traversal, crate pushing, and bimanual carrying on simulated Unitree Go2 and G1 robots. Our experiments further show that refinement improves policy learning beyond initialization and tracking alone. For hardware deployment, the distilled policy transfers zero-shot to a real Go2 and uses onboard depth to autonomously trot, crawl, clear hurdles, and switch between these behaviors.