Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models
作者: Kowndinya Boyalakuntla, Yuhan Liu, Abdeslam Boularias
分类: cs.RO
发布日期: 2026-09-30
备注: 8 pages
💡 一句话要点
提出PL-MPC以优化机器人控制中的规划与学习闭环
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人控制 规划与学习 闭环反馈 世界模型 TD-MPC 性能提升 自主决策
📋 核心要点
- 现有的规划与学习方法在机器人控制中存在反馈闭环不足的问题，导致学习效率低下。
- PL-MPC通过改进评论员监督和终端价值估计，增强了规划与学习之间的互动，形成更有效的反馈机制。
- 在HumanoidBench上，PL-MPC在平衡与障碍任务中实现了显著的性能提升，特别是在总平均回报方面。
📝 摘要（中文）
本论文提出了一种新的规划学习方法PL-MPC，旨在通过学习的世界模型结合在线轨迹优化和学习的价值与策略函数，形成一个闭环反馈机制。PL-MPC在TD-MPC的基础上，进一步改进了评论员的监督和规划者的终端价值估计。通过引入混合多步TD目标、关注不确定性的终端估计以及强调高回报情境下的规划执行动作，PL-MPC在HumanoidBench上取得了显著的性能提升，尤其在平衡与障碍任务中表现突出。该方法还展示了在不同物体尺寸上的零-shot仿真到现实转移能力。
🔬 方法详解
问题定义：本论文旨在解决现有机器人控制方法中规划与学习之间反馈闭环不足的问题，导致学习效率和性能的下降。现有方法如TD-MPC虽然有效，但在策略与规划行为的对齐上存在局限性。
核心思路：PL-MPC的核心思想是通过改进评论员的监督机制和规划者的终端价值估计，增强规划与学习之间的互动，从而形成一个更为紧密的反馈闭环。这种设计旨在提高学习效率和控制性能。
技术框架：PL-MPC的整体架构包括三个主要模块：学习的世界模型、在线轨迹优化的规划器和学习的评论员。规划器生成未来的动作计划，评论员则根据这些计划进行评估和学习。
关键创新：PL-MPC的主要创新在于引入混合多步TD目标和关注不确定性的终端估计，这些设计使得评论员在更新时能够接触到更多的实际奖励，同时减少不确定评论员值对规划的影响。
关键设计：在PL-MPC中，混合多步TD目标使评论员更新更为有效，关注不确定性的终端估计减少了不确定性对规划的影响，而返回加权的演员蒸馏则强调了高回报情境下的规划执行动作。
🖼️ 关键图片
📊 实验亮点
在HumanoidBench的实验中，PL-MPC在平衡任务中的总平均回报从98±18提升至387±255，在障碍任务中从199±13提升至466±200，显示出显著的性能提升。PL-MPC在DMControl基准上也保持了竞争力。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等。通过优化规划与学习的闭环，PL-MPC能够提升机器人在复杂环境中的自主决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Planning with learned world models combines online trajectory optimization with learned value and policy functions for high-dimensional control. Because the planner determines the experience used for learning, while the learned critic and actor in turn score and propose future plans, planning and learning form a closed feedback loop. TD-MPC is a prominent instance of this design. Recent policy-constrained variants strengthen one part of the loop by aligning the learned policy with planner behavior. We introduce PL-MPC (Planning-Learning MPC), which additionally modifies critic supervision and planner terminal-value estimation. Hybrid multi-step TD targets expose critic updates to more realized rewards before bootstrapping; disagreement-aware terminal estimates reduce the influence of uncertain critic values during MPPI planning; and return-weighted actor distillation emphasizes planner-executed actions from high-return episodes. The world-model architecture and MPPI optimizer are otherwise unchanged. On HumanoidBench, the largest gains occur on \texttt{balance-hard}, where Total Average Return (TAR) increases from $98\pm18$ to $387\pm255$, and \texttt{hurdle}, from $199\pm13$ to $466\pm200$; performance across the broader benchmark remains task dependent, and PL-MPC remains competitive on DMControl. Controlled ablations show different component interactions across the two tasks. We further demonstrate zero-shot sim-to-real transfer on wrench-nut alignment with a 7-DoF KUKA IIWA14, obtaining higher observed success than TD-M(PC)^2 on the training object size and two unseen sizes. Code and data will be available at: https://pl-mpc-humanoid.github.io.