DynaForge: Planning-Guided Residual Learning for Dynamic Manipulation Demonstration Generation

📄 arXiv: 2609.25631v1 📥 PDF

作者: Yiyang Jin, Yu Zheng, Xiao He, Hesheng Wang

分类: cs.RO

发布日期: 2026-09-22

备注: 8 pages, 6 figures. Under review

💡 一句话要点

提出DynaForge以解决动态物体操控演示生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态操控 演示生成 残差学习 机器人技术 强化学习

📋 核心要点

  1. 现有动态演示生成方法在接触点附近容易失败，且静态任务方法难以适应动态环境。
  2. DynaForge通过结合全局规划与逆向运动学，学习残差修正以提升动态操控演示的质量。
  3. 在九个模拟任务中，DynaForge的演示生成成功率从41.30%提升至78.37%，显示出显著的性能提升。

📝 摘要（中文）

动态物体操控对在现实环境中工作的机器人至关重要，但生成高质量演示的方法仍然有限。现有针对静态任务的方法难以迁移到动态环境中。DynaForge是一种规划引导的框架，通过学习残差修正来生成动态操控演示。该方法结合了低频率的全局规划与高频率的物体中心逆向运动学，并在动态交互中应用残差策略进行动作修正。实验结果表明，DynaForge在多个任务中显著提高了演示生成的成功率，展示了其在模拟到现实转移中的潜力。

🔬 方法详解

问题定义：本论文旨在解决动态物体操控演示生成中的挑战，现有方法在动态环境中表现不佳，尤其是在接触点附近容易失败。

核心思路：DynaForge的核心思路是结合低频率的全局规划与高频率的物体中心逆向运动学，通过学习残差修正来提高动态操控的演示质量。这样的设计使得机器人在动态交互中能够更灵活地调整动作。

技术框架：DynaForge的整体架构包括全局规划模块、逆向运动学模块和残差策略模块。全局规划负责制定长期目标，逆向运动学则处理具体的动作细节，而残差策略用于在动态交互中实时修正动作。

关键创新：DynaForge的主要创新在于引入了残差学习机制，能够在动态环境中有效地进行动作修正。这一方法与传统的DOMINO风格重放方法相比，能够提供更丰富的经验用于策略学习。

关键设计：在DynaForge中，采用了隐式课程学习来分组回放，并选择混合成功的组，以便将残差强化学习集中在不断演变的能力边界上。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个实验中，DynaForge在演示生成成功率上表现优异，成功率从41.30%提升至78.37%。在800个演示的任务中，基于DynaForge数据训练的DP3策略实现了49.11%的平均成功率，而DOMINO数据仅为7.07%。在真实动态任务中，DynaForge训练的策略成功率达到30-60%，显示出良好的模拟到现实转移能力。

🎯 应用场景

DynaForge的研究成果可广泛应用于机器人操控、自动化生产线、智能家居等领域，提升机器人在动态环境中的操作能力。未来，该方法可能推动机器人在复杂环境中的自主学习与适应能力，具有重要的实际价值。

📄 摘要（原文）

Dynamic object manipulation is essential for robots operating in real-world environments, yet methods for generating high-quality demonstrations remain limited. Methods designed for static tasks do not readily transfer to dynamic settings. Among dynamic demonstration generators, planning-based methods can fail near contact, while DOMINO-style replay simplifies dynamic interactions and may limit the experience available for policy learning. We present DynaForge, a planning-guided framework that learns residual corrections for dynamic manipulation demonstration generation. DynaForge combines low-frequency global planning with high-frequency object-centric inverse kinematics across task phases, and applies a residual policy to correct actions during dynamic interaction. An implicit curriculum groups rollouts under matched conditions and selects mixed-success groups, focusing residual reinforcement learning on the evolving competence frontier. On Can and Bottle, it uses 0.73x as many optimizer steps as vanilla GRPO at the same nominal environment-step budget, with higher observed final success rates. Across nine simulation tasks, DynaForge increases mean demonstration-generation success from 41.30% of the planning prior to 78.37%. With 800 demonstrations per task, DP3 policies trained on DynaForge data achieve 49.11% mean success, compared with 7.07% for DOMINO data. On three real-world dynamic tasks, DynaForge-trained policies achieve 30-60% success, compared with 0-10% for DOMINO-trained policies, showing the ability of DynaForge for sim-to-real transfer.