Robotic Spatiotemporal Editing: A Unified Interface for Controllable Action Generation via Masked Action Reconstruction
作者: Yanbang Li, Bu He, Yi Tian, Yu-Chiao Huang, Chenyu Zhang, Ruoqu Chen, Yuanzhe Liu, Yuxiang Gao, Mengdi Xu
分类: cs.RO
发布日期: 2026-10-16
💡 一句话要点
提出MAP接口以解决机器人行为控制与编辑问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)
关键词: 机器人行为生成 时空控制 动作修复 生成策略 多掩码训练
📋 核心要点
- 现有生成策略在控制和编辑机器人行为时面临时空参考多样性带来的挑战，难以满足人类意图的复杂约束。
- 我们提出MAP接口，将时空控制参考统一为部分规范，并将可控操作视为动作修复问题，采用进度引导对齐与多掩码训练。
- 在ManiSkill和LIBERO-10上，我们的策略实现了92.67%和64.67%的任务成功率，且在实际实验中表现出较低的控制误差。
📝 摘要（中文）
生成策略能够合成机器人行为，但通过多样的时空参考进行控制和编辑仍然具有挑战性。人类意图要求机器人行为满足何时、何地以及如何执行的约束。我们提出MAP（Masked Action Space）接口，将这些时空控制参考统一为同一时间笛卡尔动作空间的部分规范，并将可控操作形式化为动作修复问题。我们的修复策略（IP）重建末端执行器的缺失动作维度，结合进度引导对齐与多掩码训练，以支持未见的动作约束组合。此外，我们还采用了无训练的RePaint变体，在去噪过程中迭代修复动作，以减少控制误差。在ManiSkill和LIBERO-10上，我们的策略分别达到了92.67%和64.67%的平均任务成功率。实际实验表明，时空控制的平均位置和旋转误差分别为44.3毫米和7°，显示出我们的策略能够利用多样的参考来引导可执行的机器人行为。
🔬 方法详解
问题定义：本论文旨在解决生成策略在控制和编辑机器人行为时面临的时空参考多样性问题。现有方法在满足人类意图的复杂约束方面存在不足，难以实现精确的行为控制。
核心思路：我们提出MAP接口，将多种时空控制参考（如关键点、流动、方向和关键姿势）统一为同一时间笛卡尔动作空间的部分规范，并将可控操作形式化为动作修复问题。这一设计使得机器人能够在多样的约束条件下生成可执行的行为。
技术框架：整体架构包括动作修复策略（IP），该策略通过进度引导对齐与多掩码训练来重建末端执行器的缺失动作维度。此外，我们还引入了无训练的RePaint变体，在去噪过程中迭代修复动作，以减少控制误差。
关键创新：最重要的技术创新在于将时空控制参考统一为MAP接口，并通过动作修复的方式实现可控操作。这一方法与现有的单一参考控制方法本质上不同，能够处理未见的动作约束组合。
关键设计：在训练过程中，我们采用了多掩码训练策略，以增强模型对不同动作约束的适应性。损失函数设计上，结合了重建误差和控制误差，以确保生成的动作既符合时空约束又具备较高的执行精度。网络结构上，采用了进度引导对齐机制，以提高动作修复的效果。
🖼️ 关键图片
📊 实验亮点
在ManiSkill和LIBERO-10上，我们的策略分别实现了92.67%和64.67%的任务成功率，显示出显著的性能提升。实际实验中，平均位置和旋转误差分别为44.3毫米和7°，表明该方法在时空控制方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过实现精确的时空控制，机器人能够更好地理解和执行复杂任务，从而提升工作效率和安全性。未来，该技术可能在智能制造和智能家居等领域发挥重要作用。
📄 摘要（原文）
Generative policies can synthesize robot behaviors, yet controlling and editing them through diverse spatiotemporal references remains challenging. In the real world, human intent requires robot behaviors that satisfy constraints on where, when, and how actions are executed. Our key insight is that spatiotemporal control references, such as keypoints, flows, orientations, and keyposes, can be viewed as partial specifications of the same temporal Cartesian action space. We introduce the MAP (Masked Action Space) interface to unify these action references and formulate controllable manipulation as an action inpainting problem. Our Inpainting Policy (IP) reconstructs missing action dimensions of the end-effector, combining progress-guided alignment with multi-mask training to support unseen action-constraint combinations. We further adopt a training-free RePaint variant that iteratively inpaints the action during denoising to reduce control error. On ManiSkill and LIBERO-10, our policy achieves average task success rates of 92.67% and 64.67%, respectively.Real-world experiments demonstrate spatiotemporal control with average positional and rotational errors of 44.3 mm and 7°, respectively, showing that our policy can use diverse references to guide executable robot behaviors.