MotionForge: A Data Generation Pipeline and Large-Scale Benchmark for Long-Horizon Manipulation of Dynamic Objects with Domain Shifts
作者: Mohan Liu, Dengchen Mei, Haotian Xian, Ruyang Han, Jiayi Sun, Xuanyu Chen, Haitian Zhang, Luxi Li, Kaimin Mao, Lin Wang
分类: cs.RO
发布日期: 2026-09-22
备注: 9 pages
💡 一句话要点
提出MotionForge以解决动态物体长时间操控中的评估与执行问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态操控 领域转移 长时间任务 机器人策略 评估基准 数据生成 智能体
📋 核心要点
- 现有动态操控方法主要集中在短时间反应，缺乏对长时间任务和领域转移的系统评估。
- 本文提出MotionForge，旨在提供一个大规模的评估基准和数据生成管道，支持动态操控的长时间交互。
- 实验表明，现有通用机器人策略在联合领域转移下表现出显著的局限性，揭示了当前策略能力与动态操控需求之间的差距。
📝 摘要（中文）
近年来，基于学习的机器人策略在静态或准静态环境中取得了显著进展。然而，在动态操控中，物体和场景不断变化，机器人需要实时感知、推理和行动。现有的动态仿真基准主要集中在短时间、反应式的简单运动模式，缺乏对领域转移的系统评估和模型无关的实时执行协议。为此，本文提出了MotionForge，这是第一个针对动态操控中领域转移和长时间交互的综合评估基准和数据生成管道。MotionForge包含40个动态交互任务，涵盖11种不同的运动模式，并专门支持17个长时间任务。我们的基准引入了两项关键创新：一是系统评估协议，用于评估策略在单因素和联合领域转移下的鲁棒性；二是解耦的延迟感知执行协议，使环境持续演变而不依赖于策略推理时间。
🔬 方法详解
问题定义：本文旨在解决动态物体长时间操控中的评估与执行问题。现有方法在动态环境中表现不足，尤其是在领域转移的情况下，无法有效评估策略的鲁棒性。
核心思路：通过构建MotionForge基准，提供系统评估协议和延迟感知执行协议，旨在全面评估策略在动态环境中的表现，特别是在长时间任务中。
技术框架：MotionForge的整体架构包括数据生成管道和评估模块，涵盖40个动态交互任务和11种运动模式，支持17个长时间任务。评估模块采用系统评估协议，分析策略在不同领域转移下的表现。
关键创新：本研究的主要创新在于引入了系统评估协议和解耦的延迟感知执行协议，前者允许在单因素和联合领域转移下评估策略鲁棒性，后者使得环境演变与策略推理时间解耦。
关键设计：在设计中，采用了多种动态场景和运动模式，设置了不同的背景、光照和速度变化，以确保评估的全面性和真实性。
🖼️ 关键图片
📊 实验亮点
在MotionForge基准上进行的广泛评估显示，现有通用机器人策略在联合领域转移下的表现存在显著局限性，尤其是在长时间任务中，策略的鲁棒性受到严重挑战。这些发现强调了当前策略能力与动态操控需求之间的关键差距。
🎯 应用场景
MotionForge的研究成果可广泛应用于机器人操控、自动驾驶、智能制造等领域，尤其是在需要处理动态环境和长时间任务的场景中。其评估基准将为未来的机器人策略研究提供重要参考，推动智能体在复杂环境中的应用与发展。
📄 摘要（原文）
Recent advances in learning-based robot policies have demonstrated promising progress, yet they are predom- inantly evaluated in static or quasi-static environments. In dynamic manipulation, objects and scenes continuously evolve while the robot perceives, reasons, and acts. However, recent dynamic simulation benchmarks largely focus on short-horizon, reactive interactions with simple motion patterns and offer limited support for both systematic evaluation under domain shifts and model-agnostic real-time execution protocols. To bridge these gaps, we introduce MotionForge, the first large- scale simulation benchmark and data-generation pipeline tailored to jointly evaluate domain shifts and long-horizon interaction in dynamic manipulation. MotionForge comprises 40 dynamic interaction tasks spanning 11 distinct motion patterns, with dedicated support for 17 long-horizon tasks. Our benchmark introduces two key novelties: (1) a systematic evaluation protocol for assessing policy robustness under both single-factor (e.g., only backgrounds shift) and joint domain shifts (e.g., simultaneous shifts of objects, backgrounds, lighting, and speed); and (2) a decoupled, latency-aware execution protocol where the environ- ment continuously evolves independently of policy inference time. Extensive evaluations of representative general-purpose robot policies on our benchmark reveal substantial limitations under joint domain shifts. These findings expose a critical gap between current policy capabilities and the requirements of robust long- horizon manipulation of dynamic objects under domain shifts, establishing MotionForge as a comprehensive testbed for future research in embodied AI.