AffordDP: Generalizable Diffusion Policy with Transferable Affordance
作者: Shijie Wu, Yihang Zhu, Yunao Huang, Kaizhen Zhu, Jiayuan Gu, Jingyi Yu, Ye Shi, Jingya Wang
分类: cs.RO
发布日期: 2024-12-04 (更新: 2025-03-20)
💡 一句话要点
AffordDP：利用可迁移的 affordance 实现通用扩散策略，提升机器人操作泛化性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人操作 扩散策略 Affordance 泛化能力 领域迁移
📋 核心要点
- 现有基于扩散的机器人操作策略在领域外泛化性差，尤其是在处理未见过的物体类别时。
- AffordDP 利用可迁移的 affordance 作为操作先验，通过 3D 接触点和轨迹建模，指导动作生成。
- 实验表明，AffordDP 在模拟和真实环境中均优于现有方法，成功泛化到未见过的物体实例和类别。
📝 摘要（中文）
基于扩散的策略在机器人操作任务中表现出色，但难以应对领域外分布。最近的研究试图通过改进扩散策略的视觉特征编码来增强泛化能力，但通常仅限于外观相似的同类别物体。我们的关键洞察是，利用 affordance（定义了智能体与物体交互的“位置”和“方式”的操作先验）可以显著增强对完全未见过的物体实例和类别的泛化能力。我们提出了具有可迁移 affordance 的扩散策略（AffordDP），专为跨新类别的通用操作而设计。AffordDP 通过 3D 接触点和接触后轨迹来建模 affordance，捕获复杂任务的基本静态和动态信息。通过使用基础视觉模型和点云配准技术估计 6D 变换矩阵，实现从域内数据到未见物体的可迁移 affordance。更重要的是，我们在扩散采样过程中融入了 affordance 指导，可以优化动作序列生成。这种指导引导生成的动作逐渐朝着对未见物体的期望操作移动，同时保持生成的动作在动作空间的流形内。模拟和真实环境的实验结果表明，AffordDP 始终优于以前的基于扩散的方法，成功地泛化到其他方法失败的未见实例和类别。
🔬 方法详解
问题定义：现有基于扩散模型的机器人操作策略在处理 out-of-domain 数据时，泛化能力不足，尤其是在面对全新的物体类别时。它们通常依赖于视觉特征的提取，但视觉特征对于物体外观的微小变化非常敏感，导致模型难以泛化到未见过的物体。
核心思路：AffordDP 的核心思路是利用 affordance 作为操作的先验知识，从而提高模型的泛化能力。Affordance 描述了智能体与物体交互的可能性，例如抓取的位置和方式。通过将 affordance 信息融入到扩散策略中，模型可以更好地理解如何与未见过的物体进行交互，从而生成更合理的动作序列。
技术框架：AffordDP 的整体框架包括以下几个主要模块：1) Affordance 建模：使用 3D 接触点和接触后轨迹来表示 affordance 信息，捕捉静态和动态信息。2) Affordance 迁移：利用基础视觉模型和点云配准技术，将从域内数据学习到的 affordance 知识迁移到未见过的物体上，估计一个 6D 变换矩阵。3) 扩散策略：使用扩散模型生成动作序列，并在采样过程中融入 affordance 指导，引导生成的动作朝着期望的操作方向移动。
关键创新：AffordDP 的关键创新在于将 affordance 信息融入到扩散策略中，并实现了 affordance 的可迁移性。与以往方法仅依赖视觉特征不同，AffordDP 利用 affordance 作为操作的先验知识，从而提高了模型的泛化能力。此外，通过使用基础视觉模型和点云配准技术，AffordDP 实现了 affordance 从域内数据到未见物体的迁移，进一步增强了模型的泛化能力。
关键设计：AffordDP 的关键设计包括：1) 使用 3D 接触点和接触后轨迹来表示 affordance 信息，捕捉静态和动态信息。2) 使用基础视觉模型（具体模型未知）和点云配准技术（具体算法未知）估计 6D 变换矩阵，实现 affordance 迁移。3) 在扩散采样过程中，通过 affordance 指导来优化动作序列生成，具体指导方式未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AffordDP 在模拟和真实环境中均优于现有的基于扩散的方法。在处理未见过的物体实例和类别时，AffordDP 能够成功地生成合理的动作序列，而其他方法则失败。具体的性能数据和提升幅度在论文中给出，但摘要中未提供。
🎯 应用场景
AffordDP 在机器人操作领域具有广泛的应用前景，例如家庭服务机器人、工业自动化、医疗机器人等。它可以帮助机器人更好地理解和操作各种物体，从而完成更复杂的任务。通过提高机器人的泛化能力，AffordDP 可以降低机器人的部署成本，并使其能够适应更复杂和动态的环境。未来，AffordDP 可以进一步扩展到其他机器人任务中，例如导航、抓取等。
📄 摘要（原文）
Diffusion-based policies have shown impressive performance in robotic manipulation tasks while struggling with out-of-domain distributions. Recent efforts attempted to enhance generalization by improving the visual feature encoding for diffusion policy. However, their generalization is typically limited to the same category with similar appearances. Our key insight is that leveraging affordances--manipulation priors that define "where" and "how" an agent interacts with an object--can substantially enhance generalization to entirely unseen object instances and categories. We introduce the Diffusion Policy with transferable Affordance (AffordDP), designed for generalizable manipulation across novel categories. AffordDP models affordances through 3D contact points and post-contact trajectories, capturing the essential static and dynamic information for complex tasks. The transferable affordance from in-domain data to unseen objects is achieved by estimating a 6D transformation matrix using foundational vision models and point cloud registration techniques. More importantly, we incorporate affordance guidance during diffusion sampling that can refine action sequence generation. This guidance directs the generated action to gradually move towards the desired manipulation for unseen objects while keeping the generated action within the manifold of action space. Experimental results from both simulated and real-world environments demonstrate that AffordDP consistently outperforms previous diffusion-based methods, successfully generalizing to unseen instances and categories where others fail.