Warm-Starting Collision-Free Model Predictive Control With Object-Centric Diffusion
作者: Arthur Haffemayer, Alexandre Chapin, Armand Jordana, Krzysztof Wojciechowski, Florent Lamiraux, Nicolas Mansard, Vladimir Petrik
分类: cs.RO
发布日期: 2026-01-06
备注: An open-source implementation is provided https://cozy-fairy-0e0139.netlify.app/
💡 一句话要点
提出基于对象中心扩散的碰撞避免模型预测控制，提升复杂环境下的运动规划效率。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)
关键词: 运动规划 模型预测控制 扩散模型 对象中心表示 碰撞避免
📋 核心要点
- 现有基于优化的运动规划方法在复杂环境中计算效率低，难以快速生成可行解。
- 利用扩散模型生成轨迹，并结合对象中心表示和模型预测控制，实现高效的碰撞避免。
- 实验表明，该混合方法在成功率和延迟方面均优于传统方法，并在真实机器人上验证了其可靠性。
📝 摘要（中文）
在复杂环境中行动需要在实现精确控制的同时预测和避免碰撞。传统的基于优化的控制器可以强制执行物理约束，但当存在许多障碍物时，它们难以快速生成可行的解决方案。扩散模型可以生成障碍物周围的各种轨迹，但先前的方法缺乏一种通用且有效的方式来根据场景结构对其进行调节。本文提出了一种混合方法，将基于扩散的warm-starting与场景的潜在对象中心表示以及碰撞感知模型预测控制器（MPC）相结合，从而在严格的时间限制下产生可靠且高效的运动生成。该方法使用对象中心槽注意力机制，将扩散Transformer调节到系统状态、任务和周围环境，以提供适合控制的紧凑障碍物表示。采样的轨迹通过最优控制问题进行细化，该问题强制执行刚体动力学和有符号距离碰撞约束，从而实时生成可行的运动。在基准测试任务中，这种混合方法比基于采样的规划器或单独的任何一个组件都实现了明显更高的成功率和更低的延迟。使用力矩控制的Panda进行的真实机器人实验证实了MPC的可靠和安全执行。
🔬 方法详解
问题定义：论文旨在解决复杂环境中机器人运动规划的挑战，尤其是在存在大量障碍物时，传统优化方法难以快速生成无碰撞轨迹的问题。现有方法，如采样算法，效率较低，而直接使用优化方法则容易陷入局部最优或计算时间过长。
核心思路：论文的核心思路是结合扩散模型的生成能力和模型预测控制（MPC）的精确控制能力。扩散模型用于生成初始的、探索性的轨迹，这些轨迹大致避开了障碍物。然后，MPC对这些轨迹进行优化，使其满足动力学约束和碰撞避免约束，从而得到最终的可行轨迹。这种warm-starting策略可以显著减少MPC的计算时间，并提高其找到可行解的概率。
技术框架：整体框架包含两个主要阶段：1) 基于对象中心扩散的轨迹生成：使用扩散Transformer生成初始轨迹，该Transformer以系统状态、任务目标和环境信息为输入。环境信息通过对象中心槽注意力机制进行编码，提取关键障碍物信息。2) 基于碰撞感知的MPC轨迹优化：将扩散模型生成的轨迹作为MPC的初始猜测，通过求解最优控制问题，优化轨迹以满足动力学约束和碰撞避免约束。最优控制问题中使用了刚体动力学模型和有符号距离函数来表示碰撞约束。
关键创新：论文的关键创新在于将对象中心扩散模型与模型预测控制相结合，实现了一种高效且可靠的运动规划方法。对象中心表示能够有效地提取环境中的关键障碍物信息，并将其用于调节扩散模型的生成过程。这种warm-starting策略显著提高了MPC的计算效率和成功率。
关键设计：对象中心表示通过槽注意力机制实现，该机制能够从原始场景点云中提取出关键的对象信息。扩散Transformer使用标准的Transformer架构，并针对运动规划任务进行了优化。MPC使用二次规划求解器，并采用有符号距离函数来表示碰撞约束。损失函数包括轨迹平滑性、目标接近度和碰撞惩罚项。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该混合方法在基准测试任务中实现了明显更高的成功率和更低的延迟，优于单独使用扩散模型或MPC的方法，以及基于采样的规划器。真实机器人实验验证了该方法在实际环境中的可靠性和安全性。具体数据提升幅度未知，但摘要中明确指出是“markedly higher success rates and lower latency”。
🎯 应用场景
该研究成果可广泛应用于机器人导航、自动驾驶、无人机飞行等领域，尤其是在复杂、动态环境中需要快速、可靠运动规划的场景。通过结合扩散模型的生成能力和模型预测控制的精确性，可以提高机器人在复杂环境中的自主性和安全性，具有重要的实际应用价值和广阔的应用前景。
📄 摘要（原文）
Acting in cluttered environments requires predicting and avoiding collisions while still achieving precise control. Conventional optimization-based controllers can enforce physical constraints, but they struggle to produce feasible solutions quickly when many obstacles are present. Diffusion models can generate diverse trajectories around obstacles, yet prior approaches lacked a general and efficient way to condition them on scene structure. In this paper, we show that combining diffusion-based warm-starting conditioned with a latent object-centric representation of the scene and with a collision-aware model predictive controller (MPC) yields reliable and efficient motion generation under strict time limits. Our approach conditions a diffusion transformer on the system state, task, and surroundings, using an object-centric slot attention mechanism to provide a compact obstacle representation suitable for control. The sampled trajectories are refined by an optimal control problem that enforces rigid-body dynamics and signed-distance collision constraints, producing feasible motions in real time. On benchmark tasks, this hybrid method achieved markedly higher success rates and lower latency than sampling-based planners or either component alone. Real-robot experiments with a torque-controlled Panda confirm reliable and safe execution with MPC.