DDAT: Diffusion Policies Enforcing Dynamically Admissible Robot Trajectories
作者: Jean-Baptiste Bouvier, Kanghyun Ryu, Kartik Nagpal, Qiayuan Liao, Koushil Sreenath, Negar Mehr
分类: cs.RO, eess.SY
发布日期: 2025-02-20 (更新: 2025-04-26)
期刊: Robotics: Science and Systems (RSS) 2025
💡 一句话要点
DDAT：扩散策略通过动态可容许轨迹生成实现机器人运动规划
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散模型 机器人运动规划 动态可容许轨迹 可达集近似 轨迹生成
📋 核心要点
- 扩散模型在机器人运动规划中面临挑战，其随机性与机器人动力学约束相悖，难以生成动态可容许轨迹。
- DDAT通过在训练和推理时将预测投影到动态可容许流形上，强制执行轨迹的动态可容许性。
- 实验表明，DDAT在仿真和真实机器人平台上均能生成高质量的动态可容许轨迹，实现一次性长程规划。
📝 摘要（中文）
扩散模型在图像和视频生成方面表现出色，这归功于它们的多模态生成能力。这些能力使得扩散模型在机器人研究中越来越受欢迎，并被用于生成机器人运动轨迹。然而，扩散模型的随机性与描述机器人可行运动的精确动力学方程存在根本冲突。因此，生成动态可容许的机器人轨迹对于扩散模型来说是一个挑战。为了解决这个问题，我们提出了DDAT：用于动态可容许轨迹的扩散策略，以使用扩散模型生成黑盒机器人系统的可证明可容许轨迹。如果序列的每个状态都属于其前驱状态通过机器人运动方程可达到的集合，则状态序列是动态可容许的轨迹。为了生成这样的轨迹，我们的扩散策略在训练和推理过程中将其预测投影到动态可容许流形上，以使去噪器神经网络的目标与动态可容许约束对齐。这些投影的自回归性质以及机器人动力学的黑盒性质使得这些投影极具挑战性。因此，我们通过迭代采样状态可达集合的多面体下近似来强制执行可容许性，并将预测的后继状态投影到该下近似上，然后在投影的后继状态上迭代此过程。通过生成准确的轨迹，这种投影消除了扩散模型不断重新规划的需要，从而实现了一次性的长程轨迹规划。我们通过在四旋翼飞行器和各种MuJoCo环境中的大量仿真，以及在Unitree GO1和GO2上的真实世界实验，证明了我们的框架生成了更高质量的动态可容许机器人轨迹。
🔬 方法详解
问题定义：论文旨在解决扩散模型在机器人运动规划中生成动态可容许轨迹的难题。现有方法难以保证生成轨迹满足机器人动力学约束，导致轨迹不可行或需要频繁重新规划。
核心思路：论文的核心思路是在扩散模型的训练和推理过程中，强制执行轨迹的动态可容许性约束。具体而言，通过将扩散模型预测的状态投影到动态可容许流形上，确保生成的轨迹始终满足机器人的运动学和动力学约束。这样设计的目的是为了消除扩散模型生成轨迹的随机性，并使其与机器人动力学方程对齐。
技术框架：DDAT框架主要包含以下几个模块：1）扩散模型：用于生成初始的轨迹预测；2）可达集近似：用于计算当前状态的可达集的多面体下近似；3）投影模块：将扩散模型预测的下一个状态投影到可达集下近似中，确保轨迹的动态可容许性；4）迭代过程：重复进行可达集近似和投影，直到生成完整的轨迹。整个流程是自回归的，即当前状态的投影依赖于前一个状态的投影结果。
关键创新：DDAT的关键创新在于提出了一种基于可达集近似的投影方法，用于强制执行轨迹的动态可容许性。与现有方法相比，DDAT不需要额外的后处理或优化步骤来保证轨迹的可行性，而是直接在扩散模型的生成过程中融入了动力学约束。这种方法能够生成更高质量的动态可容许轨迹，并实现一次性的长程规划。
关键设计：在可达集近似方面，论文采用多面体下近似，以保证计算效率和轨迹的可容许性。投影模块使用优化方法，将预测状态投影到多面体下近似中，并最小化投影误差。损失函数包括轨迹预测误差和动态可容许性约束两部分，用于训练扩散模型。网络结构方面，可以使用Transformer等序列模型来捕捉轨迹的时序依赖关系。
🖼️ 关键图片
📊 实验亮点
论文在四旋翼飞行器和MuJoCo环境中进行了大量仿真实验，并验证了DDAT的有效性。实验结果表明，DDAT能够生成更高质量的动态可容许轨迹，并实现一次性的长程规划。此外，论文还在Unitree GO1和GO2真实机器人平台上进行了实验，进一步验证了DDAT的实际应用价值。
🎯 应用场景
DDAT可应用于各种机器人运动规划场景，例如无人机飞行、自动驾驶、机械臂操作等。该方法能够生成安全可靠的机器人轨迹，提高机器人的自主性和适应性。未来，DDAT可以进一步扩展到更复杂的机器人系统和环境，并与其他控制算法相结合，实现更高级的机器人任务。
📄 摘要（原文）
Diffusion models excel at creating images and videos thanks to their multimodal generative capabilities. These same capabilities have made diffusion models increasingly popular in robotics research, where they are used for generating robot motion. However, the stochastic nature of diffusion models is fundamentally at odds with the precise dynamical equations describing the feasible motion of robots. Hence, generating dynamically admissible robot trajectories is a challenge for diffusion models. To alleviate this issue, we introduce DDAT: Diffusion policies for Dynamically Admissible Trajectories to generate provably admissible trajectories of black-box robotic systems using diffusion models. A sequence of states is a dynamically admissible trajectory if each state of the sequence belongs to the reachable set of its predecessor by the robot's equations of motion. To generate such trajectories, our diffusion policies project their predictions onto a dynamically admissible manifold during both training and inference to align the objective of the denoiser neural network with the dynamical admissibility constraint. The auto-regressive nature of these projections along with the black-box nature of robot dynamics render these projections immensely challenging. We thus enforce admissibility by iteratively sampling a polytopic under-approximation of the reachable set of a state onto which we project its predicted successor, before iterating this process with the projected successor. By producing accurate trajectories, this projection eliminates the need for diffusion models to continually replan, enabling one-shot long-horizon trajectory planning. We demonstrate that our framework generates higher quality dynamically admissible robot trajectories through extensive simulations on a quadcopter and various MuJoCo environments, along with real-world experiments on a Unitree GO1 and GO2.