Compositional Motion Generation from Demonstration with Object-Centric Neural Fields
作者: Ahmet Ercan Tekden, Yasemin Bekiroglu
分类: cs.RO
发布日期: 2026-07-08
备注: Accepted by IEEE Robotics and Automation Letters (RAL)
💡 一句话要点
提出基于对象中心神经场的生成学习框架以实现机器人运动生成
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 机器人运动生成 对象中心神经场 生成学习 组合性 数据效率 时间混合专家 长时间操作任务
📋 核心要点
- 现有方法在机器人学习中面临数据效率低和泛化能力不足的挑战，难以处理复杂的运动生成任务。
- 论文提出了一种基于对象中心神经场的生成学习框架，通过组合简单运动原语实现复杂行为的生成。
- 实验结果显示，该方法在长时间操作任务中表现优异，所需训练数据显著少于传统图像基础方法。
📝 摘要（中文）
本研究提出了一种生成学习框架，利用组合性原则将复杂行为组织为简单元素的组合，从而实现机器人行为的可扩展和数据高效学习。该框架通过共享的对象级表示，将感知与运动连接起来，生成对象中心的神经表示，捕捉位置和几何变换。采用时间混合专家（MoE）机制，结合对象条件的运动原语生成完整轨迹，保持运动的空间-时间组合性，显著提高了数据效率，并在多样场景配置中实现系统化泛化。模拟实验表明，该模型在长时间操作任务中表现优异，所需训练数据显著少于其他图像基础方法。实际实验验证了其对噪声的鲁棒性及在类别级别的泛化能力。
🔬 方法详解
问题定义：本研究旨在解决机器人运动生成中的数据效率低和泛化能力不足的问题。现有方法往往依赖大量标注数据，难以适应复杂的场景变化。
核心思路：论文提出的框架通过组合简单的运动原语，利用对象中心的神经表示将感知与运动连接，增强了模型的可扩展性和数据效率。
技术框架：整体架构包括对象中心神经场的生成模块和时间混合专家（MoE）模块。前者生成对象级的场景表示，后者结合对象条件的运动原语生成完整的运动轨迹。
关键创新：最重要的创新在于将对象中心神经场与运动生成相结合，实现了空间-时间的组合性，显著提高了数据效率和泛化能力。
关键设计：模型采用了潜在条件变形的神经场，结合了门控机制的时间混合专家（MoE），在损失函数设计上注重运动轨迹的平滑性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的模型在长时间操作任务中成功完成，所需的训练数据量显著低于其他图像基础方法，展示了在噪声环境下的鲁棒性和在类别级别的泛化能力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提高机器人在复杂环境中的运动生成能力，该框架能够在实际应用中实现更高的灵活性和效率，推动智能机器人技术的发展。
📄 摘要（原文）
Compositionality, by organizing complex behavior as combinations of simpler elements, enables robot learning that is scalable and data efficient. Leveraging this principle, we propose a generative learning-from-demonstration framework that enables compositional modeling of robotic behavior by connecting perception and motion through shared object-level representations. We render scenes from object-centric neural representations that integrate canonical neural fields with latent-conditioned deformations, capturing positional and geometric variations in a smooth, consistent, and interpretable way. For motion generation, a temporal mixture-of-experts (MoE) employs a gating mechanism to combine object-conditioned movement primitives over time, producing complete trajectories. This spatial-temporal compositionality maintains the data efficiency of movement primitives while grounding motion in visual structure, enabling systematic generalization across diverse scene configurations. In simulation, long-horizon manipulation tasks are successfully completed using the proposed model, which requires significantly less training data than other image-based baselines. Real-world experiments further demonstrate the method's robustness to noise, its ability to generalize at the category level through language-based segmentation models, and its capacity to operate directly on 3D scene representations.