Efficient Alignment of Unconditioned Action Prior for Language-conditioned Pick and Place in Clutter

📄 arXiv: 2503.09423v3 📥 PDF

作者: Kechun Xu, Xunlong Xia, Kaixuan Wang, Yifei Yang, Yunxuan Mao, Bing Deng, Jieping Ye, Rong Xiong, Yue Wang

分类: cs.RO, cs.CV

发布日期: 2025-03-12 (更新: 2025-09-06)

备注: Accepted by T-ASE and CoRL25 GenPriors Workshop

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出A$^2$方法，通过对齐动作先验提升语言条件下的杂乱场景抓取放置性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言条件抓取放置 动作先验对齐 视觉语言模型 机器人操作 杂乱场景 注意力机制 策略学习

📋 核心要点

  1. 现有语言条件抓取放置方法依赖大量数据或存在级联误差，且较少关注动作先验。
  2. 提出A$^2$方法，通过注意力层对齐无条件动作先验与3D视觉-语言先验，提升策略性能。
  3. 实验表明，A$^2$方法在模拟和真实场景中均能以更少步骤实现更高的抓取放置成功率。

📝 摘要（中文）

本文研究了语言条件下的杂乱场景抓取放置任务，即机器人需要在开放的杂乱环境中抓取目标物体并将其移动到指定位置。现有方法或者学习基于视觉基础模型的端到端策略，需要大量数据集；或者在零样本设置中结合基础模型，容易出现级联错误。此外，它们主要利用视觉和语言基础模型，较少关注动作先验。本文旨在通过整合视觉、语言和动作的基础先验来开发有效的策略。我们提出了一种动作先验对齐方法A$^2$，通过学习一个注意力层，将无条件的动作先验与3D视觉-语言先验对齐。这种对齐方式使我们的策略能够以更少的数据进行训练，并保持零样本泛化能力。实验表明，用于抓取和放置动作的共享策略可以提高每个任务的性能，并引入策略适应方案以适应动作的多模态性质。在模拟和真实世界的广泛实验表明，我们的策略在杂乱场景中的抓取和放置任务中，以更少的步骤实现了更高的任务成功率，有效地推广到未见过的物体和语言指令。

🔬 方法详解

问题定义：现有语言条件下的抓取放置任务，主要痛点在于：一是依赖大量标注数据进行端到端训练，二是零样本方法容易产生级联错误，三是较少利用动作先验知识，导致效率和泛化性受限。因此，如何在少量数据下，有效利用视觉、语言和动作先验知识，提升抓取放置的成功率和效率，是本文要解决的核心问题。

核心思路：本文的核心思路是通过对齐无条件的动作先验与3D视觉-语言先验，从而将动作先验知识融入到策略学习中。具体来说，就是学习一个注意力层，将动作先验与视觉-语言特征进行融合，使得策略能够更好地理解语言指令，并生成更合理的动作。这样设计的目的是为了在少量数据下，也能学习到有效的策略，并保持零样本泛化能力。

技术框架：整体框架包含以下几个主要模块：1) 3D视觉-语言特征提取模块：利用预训练的视觉和语言模型提取场景的视觉和语言特征。2) 动作先验模块：提供无条件的动作先验信息。3) 注意力对齐模块：通过学习一个注意力层，将动作先验与视觉-语言特征进行对齐和融合。4) 策略网络：基于融合后的特征，预测抓取和放置的动作。整个流程是，首先输入视觉和语言信息，提取特征，然后与动作先验进行对齐，最后通过策略网络输出动作。

关键创新：最重要的技术创新点在于提出了A$^2$（Action Prior Alignment）方法，即通过学习注意力层，将无条件的动作先验与3D视觉-语言先验进行对齐。与现有方法的本质区别在于，现有方法主要关注视觉和语言特征的学习，而忽略了动作先验的重要性。A$^2$方法通过显式地对齐动作先验，能够更好地利用动作知识，从而提升策略的性能。

关键设计：关键设计包括：1) 注意力层的结构：使用一个单层感知机作为注意力层，将视觉-语言特征和动作先验映射到同一空间，然后计算注意力权重。2) 共享策略：使用一个共享的策略网络来预测抓取和放置动作，从而提高数据利用率。3) 策略适应：引入策略适应方案，以适应动作的多模态性质。损失函数未知，论文中未明确说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，A$^2$方法在模拟和真实世界的杂乱场景中，均取得了显著的性能提升。具体来说，A$^2$方法在抓取和放置任务中，以更少的步骤实现了更高的任务成功率，并且能够有效地泛化到未见过的物体和语言指令。相较于现有方法，A$^2$方法在数据效率和泛化能力方面均具有优势。具体的性能数据未知，论文中未明确说明。

🎯 应用场景

该研究成果可应用于智能仓储、智能制造、家庭服务机器人等领域。例如，在智能仓储中，机器人可以根据语言指令，准确地抓取和放置货物；在智能制造中，机器人可以根据操作人员的指令，完成复杂的装配任务；在家庭服务机器人中，机器人可以根据用户的指令，整理房间、摆放物品等。该研究有助于提高机器人的智能化水平和工作效率，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

We study the task of language-conditioned pick and place in clutter, where a robot should grasp a target object in open clutter and move it to a specified place. Some approaches learn end-to-end policies with features from vision foundation models, requiring large datasets. Others combine foundation models in a zero-shot setting, suffering from cascading errors. In addition, they primarily leverage vision and language foundation models, focusing less on action priors. In this paper, we aim to develop an effective policy by integrating foundation priors from vision, language, and action. We propose A$^2$, an action prior alignment method that aligns unconditioned action priors with 3D vision-language priors by learning one attention layer. The alignment formulation enables our policy to train with less data and preserve zero-shot generalization capabilities. We show that a shared policy for both pick and place actions enhances the performance for each task, and introduce a policy adaptation scheme to accommodate the multi-modal nature of actions. Extensive experiments in simulation and the real-world show that our policy achieves higher task success rates with fewer steps for both pick and place tasks in clutter, effectively generalizing to unseen objects and language instructions. Videos and codes are available at https://xukechun.github.io/papers/A2.