Discrete Policy: Learning Disentangled Action Space for Multi-Task Robotic Manipulation

📄 arXiv: 2409.18707v4 📥 PDF

作者: Kun Wu, Yichen Zhu, Jinming Li, Junjie Wen, Ning Liu, Zhiyuan Xu, Jian Tang

分类: cs.RO

发布日期: 2024-09-27 (更新: 2025-03-21)

备注: Accept to ICRA 2025

💡 一句话要点

提出离散策略以解决多任务机器人操作中的动作空间问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 机器人操作 离散策略 向量量化 动作空间 视觉运动策略 深度学习

📋 核心要点

  1. 现有方法在多任务机器人操作中面临动作空间多样性带来的挑战，导致学习效率低下。
  2. 本文提出的离散策略通过向量量化将动作序列映射到离散潜在空间，从而实现任务特定代码的学习。
  3. 实验结果显示，离散策略在多任务训练中成功率比扩散策略高出26%，比OpenVLA高出15%。

📝 摘要（中文）

学习视觉运动策略以实现多任务机器人操作一直是机器人领域的挑战。由于动作空间的多样性，单个任务通常可以通过多种方式完成，导致多模态动作分布。本文提出了离散策略（Discrete Policy），一种训练通用代理以实现多任务操作技能的方法。该方法利用向量量化将动作序列映射到离散潜在空间，从而促进任务特定代码的学习。这些代码根据观察和语言指令重构为动作空间。实验结果表明，离散策略在多任务训练设置中显著优于现有的扩散策略和其他先进方法。

🔬 方法详解

问题定义：本文旨在解决多任务机器人操作中动作空间的多样性问题。现有方法在处理多模态动作分布时效率低下，难以实现通用的操作技能。

核心思路：离散策略通过向量量化将动作序列映射到离散潜在空间，学习任务特定的代码。这种设计使得机器人能够根据观察和语言指令生成适应性强的动作。

技术框架：整体架构包括三个主要模块：动作序列的向量量化、任务特定代码的学习和基于观察及语言指令的动作重构。通过这些模块，机器人能够有效地执行多任务操作。

关键创新：离散策略的核心创新在于将动作序列映射到离散潜在空间，从而有效地学习和重构任务特定的动作。这一方法与现有的扩散策略等方法相比，显著提高了多任务学习的效率。

关键设计：在设计中，采用了特定的损失函数以优化向量量化过程，并通过深度学习网络结构来实现动作序列的学习与重构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，离散策略在多任务训练设置中表现优异。在五个任务的真实场景中，成功率比扩散策略高出26%，比OpenVLA高出15%。随着任务数量增加到12，离散策略与扩散策略的性能差距扩大至32.5%。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和家庭自动化等。通过实现通用的多任务操作技能，离散策略能够提高机器人在复杂环境中的适应能力，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Learning visuomotor policy for multi-task robotic manipulation has been a long-standing challenge for the robotics community. The difficulty lies in the diversity of action space: typically, a goal can be accomplished in multiple ways, resulting in a multimodal action distribution for a single task. The complexity of action distribution escalates as the number of tasks increases. In this work, we propose \textbf{Discrete Policy}, a robot learning method for training universal agents capable of multi-task manipulation skills. Discrete Policy employs vector quantization to map action sequences into a discrete latent space, facilitating the learning of task-specific codes. These codes are then reconstructed into the action space conditioned on observations and language instruction. We evaluate our method on both simulation and multiple real-world embodiments, including both single-arm and bimanual robot settings. We demonstrate that our proposed Discrete Policy outperforms a well-established Diffusion Policy baseline and many state-of-the-art approaches, including ACT, Octo, and OpenVLA. For example, in a real-world multi-task training setting with five tasks, Discrete Policy achieves an average success rate that is 26\% higher than Diffusion Policy and 15\% higher than OpenVLA. As the number of tasks increases to 12, the performance gap between Discrete Policy and Diffusion Policy widens to 32.5\%, further showcasing the advantages of our approach. Our work empirically demonstrates that learning multi-task policies within the latent space is a vital step toward achieving general-purpose agents.