Learning Foresight without Explicit Trajectories for 3D Diffusion Policies

📄 arXiv: 2609.20669v1 📥 PDF

作者: Zhongbo Zhang, Zaibin Zhang, Yifan Wang, Changbo Yan, Lijun Wang, Huchuan Lu

分类: cs.RO, cs.CV

发布日期: 2026-09-17

💡 一句话要点

提出运动趋势引导以解决3D扩散策略的前瞻性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D扩散策略 运动趋势引导 潜在表示学习 机器人操控 动作生成 深度学习 人机交互

📋 核心要点

  1. 现有3D扩散策略在操控任务中缺乏对未来交互走向的前瞻性理解，导致性能受限。
  2. 本文提出运动趋势引导，通过学习交互演变的潜在表示，增强策略的前瞻性，而无需显式规划。
  3. 实验结果表明，本文方法在多个基准任务上显著提升性能，如RoboTwin2.0任务中准确率从56.1%提升至62.8%。

📝 摘要（中文）

3D扩散策略在从当前观察中生成几何基础动作方面表现出色，但成功的操控不仅需要了解当前可行的运动，还需预测交互的未来走向。现有策略主要依赖于动作学习来隐式地实现这种前瞻性。本文提出了一种简单有效的运动趋势引导方法，无需引入显式计划。通过短期观察历史，策略学习交互演变的紧凑潜在表示。在训练过程中，稀疏的未来抓取状态监督该表示；在推理时，仅保留潜在表示作为未来导向的条件，与当前观察结合。该潜在表示为动作生成提供全局条件，同时在UNet瓶颈处使用额外的门控FiLM分支。尽管仅增加了3.52%的参数，本文方法保留了原有的密集动作和递归视野的框架，并在RoboTwin2.0、LIBERO-40和DexArt上持续优于DP3。

🔬 方法详解

问题定义：本文旨在解决现有3D扩散策略在操控任务中缺乏对未来交互走向的前瞻性理解的问题。现有方法主要依赖于动作学习，未能有效预测交互的未来状态，导致性能受限。

核心思路：论文提出了一种运动趋势引导的方法，通过从短期观察历史中学习交互演变的潜在表示，提供对未来状态的前瞻性指导，而无需显式的计划。这种设计使得策略能够在不增加复杂性的情况下，获得更好的决策能力。

技术框架：整体架构包括两个主要阶段：训练阶段和推理阶段。在训练阶段，使用稀疏的未来抓取状态来监督潜在表示的学习；在推理阶段，仅保留潜在表示作为未来导向的条件，与当前观察结合。

关键创新：最重要的技术创新点在于引入了运动趋势引导，通过潜在表示为动作生成提供全局条件，同时在UNet瓶颈处使用门控FiLM分支。这一方法与现有策略的本质区别在于不再依赖显式的未来规划。

关键设计：在参数设置上，本文方法仅增加了3.52%的参数，保持了原有的密集动作和递归视野的框架。损失函数设计上，采用了监督学习的方式来优化潜在表示的学习效果，确保其能够有效捕捉交互演变的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在多个任务上均优于基线DP3。在RoboTwin2.0的50任务混合训练中，准确率从56.1%提升至62.8%；在LIBERO-40上，准确率从37.08%提升至71.93%；在五个真实机器人任务中，准确率从49.0%提升至72.0%。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、自动化生产线以及人机交互等场景。通过增强机器人对未来交互走向的理解，能够显著提升其在复杂环境中的操作能力和适应性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

3D diffusion policies are strong at generating geometrically grounded actions from current observations, but successful manipulation requires not only knowing what motion is feasible now, but also anticipating where the interaction is heading. Existing policies largely leave such foresight to emerge implicitly from action learning. We introduce Movement Trend Guidance, a simple but effective way to provide this foresight without introducing an explicit plan. From a short observation history, the policy learns a compact latent representation of interaction evolution. During training, sparse future gripper states supervise this representation; at inference, only the latent is retained as future-oriented conditioning alongside the current observation. The latent provides global conditioning for action generation, while an additional gated FiLM branch is used only at the UNet bottleneck. Despite adding only 3.52% more parameters to DP3, our method preserves the original dense-action and receding-horizon formulation and consistently improves upon DP3 across RoboTwin2.0, LIBERO-40, and DexArt. It reaches 62.8% vs. 56.1% in 50-task RoboTwin2.0 mixed training, 71.93% vs. 37.08% on LIBERO-40, and 72.0% vs. 49.0% on five real-robot tasks. These results show that a diffusion policy can benefit substantially from knowing where an interaction is heading, without being told exactly where to move.