Spatial-Temporal Aware Visuomotor Diffusion Policy Learning

📄 arXiv: 2507.06710v2 📥 PDF

作者: Zhenyang Liu, Yikai Wang, Kuanning Wang, Longfei Liang, Xiangyang Xue, Yanwei Fu

分类: cs.RO

发布日期: 2025-07-09 (更新: 2025-07-13)

💡 一句话要点

提出4D扩散策略DP4，增强机器人视觉模仿学习中的时空感知能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉模仿学习 扩散模型 时空感知 机器人控制 动态世界模型

📋 核心要点

  1. 现有视觉模仿学习方法依赖行为克隆，缺乏3D空间和4D时空感知，难以捕捉真实世界任务所需的结构和关系。
  2. DP4利用动态高斯世界模型，从交互环境中学习3D空间和4D时空感知，显式建模时空依赖关系以优化轨迹生成。
  3. 实验结果表明，DP4在模拟和真实机器人任务中均优于基线方法，显著提升了任务成功率。

📝 摘要（中文）

本文提出了一种新颖的视觉模仿学习方法——4D扩散策略（DP4），旨在将时空感知融入基于扩散模型的策略中。与依赖监督历史轨迹的行为克隆方法不同，DP4利用动态高斯世界模型来指导从交互环境中学习3D空间和4D时空感知。该方法从单视角RGB-D观测构建当前3D场景，并预测未来3D场景，通过显式建模空间和时间依赖关系来优化轨迹生成。在17个模拟任务（包含173个变体）和3个真实机器人任务上的大量实验表明，DP4优于基线方法，在模拟任务中平均成功率提升了16.4% (Adroit)、14% (DexArt)和6.45% (RLBench)，在真实机器人任务中平均成功率提升了8.6%。

🔬 方法详解

问题定义：现有的视觉模仿学习方法，特别是基于行为克隆的方法，主要依赖于监督学习历史轨迹。这种方法的局限性在于缺乏对3D空间结构和4D时空关系的感知能力，导致在复杂和动态的真实世界环境中表现不佳。痛点在于无法有效利用视觉信息来理解和预测环境的变化，从而难以生成鲁棒和适应性强的机器人控制策略。

核心思路：DP4的核心思路是通过引入动态高斯世界模型，显式地建模环境的3D空间结构和4D时空关系。该模型能够从单视角的RGB-D图像中重建3D场景，并预测未来的3D场景状态。通过在扩散模型中融入这种时空感知能力，DP4能够生成更符合物理规律和环境动态的轨迹，从而提高模仿学习的性能。

技术框架：DP4的整体框架包括以下几个主要模块：1) 3D场景重建模块：从单视角RGB-D图像中重建当前3D场景。2) 动态高斯世界模型：用于建模环境的时空动态，预测未来3D场景的状态。3) 扩散策略学习模块：基于扩散模型学习生成机器人控制策略，该策略以当前3D场景和未来3D场景的预测作为输入。4) 轨迹优化模块：通过显式建模空间和时间依赖关系，优化生成的轨迹。

关键创新：DP4的关键创新在于将时空感知能力融入到扩散策略学习中。与传统的行为克隆方法不同，DP4不直接模仿历史轨迹，而是通过学习一个动态世界模型来理解环境的动态变化，并基于此生成控制策略。这种方法能够更好地泛化到新的环境和任务中，并且能够更好地处理环境中的噪声和不确定性。

关键设计：DP4的关键设计包括：1) 使用RGB-D图像作为输入，以获取更丰富的3D信息。2) 使用动态高斯世界模型来建模环境的时空动态，该模型能够预测未来3D场景的状态。3) 使用扩散模型来生成机器人控制策略，该模型能够生成多样化的轨迹，并且能够更好地处理环境中的噪声和不确定性。4) 损失函数的设计，包括重建损失、预测损失和策略损失，以确保模型能够准确地重建场景、预测未来状态并生成有效的控制策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DP4在多个模拟和真实机器人任务中取得了显著的性能提升。在模拟任务中，DP4在Adroit、DexArt和RLBench数据集上分别取得了16.4%、14%和6.45%的平均成功率提升。在真实机器人任务中，DP4取得了8.6%的平均成功率提升。这些结果表明，DP4能够有效地学习到具有时空感知能力的机器人控制策略，并且能够泛化到新的环境和任务中。

🎯 应用场景

DP4具有广泛的应用前景，可应用于各种需要机器人进行视觉模仿学习的场景，例如家庭服务机器人、工业自动化、医疗辅助机器人等。通过学习人类的动作和行为，机器人可以完成各种复杂的任务，提高工作效率和服务质量。此外，DP4还可以应用于虚拟现实和增强现实等领域，为用户提供更逼真的交互体验。

📄 摘要（原文）

Visual imitation learning is effective for robots to learn versatile tasks. However, many existing methods rely on behavior cloning with supervised historical trajectories, limiting their 3D spatial and 4D spatiotemporal awareness. Consequently, these methods struggle to capture the 3D structures and 4D spatiotemporal relationships necessary for real-world deployment. In this work, we propose 4D Diffusion Policy (DP4), a novel visual imitation learning method that incorporates spatiotemporal awareness into diffusion-based policies. Unlike traditional approaches that rely on trajectory cloning, DP4 leverages a dynamic Gaussian world model to guide the learning of 3D spatial and 4D spatiotemporal perceptions from interactive environments. Our method constructs the current 3D scene from a single-view RGB-D observation and predicts the future 3D scene, optimizing trajectory generation by explicitly modeling both spatial and temporal dependencies. Extensive experiments across 17 simulation tasks with 173 variants and 3 real-world robotic tasks demonstrate that the 4D Diffusion Policy (DP4) outperforms baseline methods, improving the average simulation task success rate by 16.4% (Adroit), 14% (DexArt), and 6.45% (RLBench), and the average real-world robotic task success rate by 8.6%.