Demystifying Action Space Design for Robotic Manipulation Policies
作者: Yuchun Feng, Jinliang Zheng, Zhihao Wang, Dongxiu Liu, Jianxiong Li, Jiangmiao Pang, Tai Wang, Xianyuan Zhan
分类: cs.RO, cs.CV
发布日期: 2026-02-26
💡 一句话要点
针对机器人操作策略，系统性研究动作空间设计对策略学习的影响
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 动作空间设计 模仿学习 策略学习 双臂机器人
📋 核心要点
- 现有机器人操作策略学习中，动作空间设计缺乏系统性研究，依赖经验或遗留设计，导致策略设计理念模糊。
- 论文通过大规模实验，系统性地研究了动作空间设计（时间与空间轴）对策略学习的影响，揭示了不同设计的优劣。
- 实验结果表明，预测增量动作能稳定提升性能，关节空间利于控制稳定性，任务空间利于泛化能力。
📝 摘要（中文）
动作空间的规范在基于模仿学习的机器人操作策略学习中起着关键作用，从根本上影响着策略学习的优化空间。虽然最近的研究主要集中在扩展训练数据和模型容量上，但动作空间的选择仍然受到临时启发式方法或遗留设计的指导，导致对机器人策略设计理念的理解模糊不清。为了解决这种模糊性，我们进行了一项大规模和系统的实证研究，证实了动作空间确实对机器人策略学习产生重大而复杂的影响。我们沿着时间和空间轴剖析了动作设计空间，从而能够对这些选择如何控制策略的可学习性和控制稳定性进行结构化分析。基于在双臂机器人上的13000多次真实世界rollout以及对四个场景中500多个训练模型的评估，我们研究了绝对表示与增量表示以及关节空间与任务空间参数化之间的权衡。我们的大规模结果表明，正确设计策略以预测增量动作始终可以提高性能，而关节空间和任务空间表示则提供互补的优势，分别有利于控制稳定性和泛化能力。
🔬 方法详解
问题定义：现有机器人操作策略学习方法在动作空间设计上缺乏理论指导，通常依赖于经验或沿用旧的设计，导致对动作空间选择的理解不足，难以找到最优的动作空间设计方案。这直接影响了策略的学习效率、控制稳定性和泛化能力。
核心思路：论文的核心思路是通过大规模的实验研究，系统性地分析不同动作空间设计对机器人操作策略学习的影响。具体来说，论文沿着时间和空间两个维度，考察了绝对动作与增量动作、关节空间与任务空间等不同设计选择对策略性能的影响，从而为动作空间设计提供理论指导。
技术框架：论文的技术框架主要包括以下几个部分：首先，定义了动作空间设计的两个主要维度：时间维度（绝对动作 vs. 增量动作）和空间维度（关节空间 vs. 任务空间）。然后，在四个不同的机器人操作场景中，使用双臂机器人进行了大量的真实世界rollout实验，收集了超过13000个数据点。接着，基于这些数据训练了500多个不同的机器人操作策略模型，并对它们的性能进行了详细的评估和分析。最后，根据实验结果，总结了不同动作空间设计的优缺点，并提出了相应的建议。
关键创新：论文的关键创新在于其系统性和规模性。以往的研究通常只关注于特定的动作空间设计，而忽略了不同设计之间的相互影响。论文通过大规模的实验，对多种不同的动作空间设计进行了全面的比较和分析，从而揭示了它们之间的权衡关系。此外，论文还首次提出了沿着时间和空间两个维度来分析动作空间设计的框架，为后续研究提供了新的思路。
关键设计：论文的关键设计包括：1) 动作空间参数化：分别考虑了绝对动作和增量动作，以及关节空间和任务空间两种不同的参数化方式。2) 实验场景设计：选择了四个具有代表性的机器人操作场景，包括抓取、放置、组装等。3) 评估指标：使用了多种不同的评估指标，包括成功率、控制误差、泛化能力等。4) 模型训练：使用了标准的模仿学习算法，并对超参数进行了优化。
🖼️ 关键图片
📊 实验亮点
论文通过在双臂机器人上进行超过13000次真实世界rollout实验，并评估了500多个训练模型，证实了增量动作表示通常优于绝对动作表示，能够稳定提升性能。同时，关节空间表示在控制稳定性方面表现更优，而任务空间表示则更利于泛化。这些发现为机器人操作策略的动作空间设计提供了重要的指导。
🎯 应用场景
该研究成果可应用于各种机器人操作任务，例如工业自动化、家庭服务机器人、医疗机器人等。通过选择合适的动作空间设计，可以提高机器人操作策略的学习效率、控制稳定性和泛化能力，从而使机器人能够更好地完成各种复杂的操作任务。此外，该研究也为机器人操作策略学习领域的研究人员提供了有价值的参考。
📄 摘要（原文）
The specification of the action space plays a pivotal role in imitation-based robotic manipulation policy learning, fundamentally shaping the optimization landscape of policy learning. While recent advances have focused heavily on scaling training data and model capacity, the choice of action space remains guided by ad-hoc heuristics or legacy designs, leading to an ambiguous understanding of robotic policy design philosophies. To address this ambiguity, we conducted a large-scale and systematic empirical study, confirming that the action space does have significant and complex impacts on robotic policy learning. We dissect the action design space along temporal and spatial axes, facilitating a structured analysis of how these choices govern both policy learnability and control stability. Based on 13,000+ real-world rollouts on a bimanual robot and evaluation on 500+ trained models over four scenarios, we examine the trade-offs between absolute vs. delta representations, and joint-space vs. task-space parameterizations. Our large-scale results suggest that properly designing the policy to predict delta actions consistently improves performance, while joint-space and task-space representations offer complementary strengths, favoring control stability and generalization, respectively.