A Novel Task-Driven Diffusion-Based Policy with Affordance Learning for Generalizable Manipulation of Articulated Objects

📄 arXiv: 2509.14939v1 📥 PDF

作者: Hao Zhang, Zhen Kan, Weiwei Shang, Yongduan Song

分类: cs.RO

发布日期: 2025-09-18

备注: Accepted by IEEE/ASME Transactions on Mechatronics

DOI: 10.1109/TMECH.2025.3602121

💡 一句话要点

提出DART框架，通过可供性学习和扩散策略实现铰接物体操作的泛化

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 铰接物体操作 扩散策略 可供性学习 线性时序逻辑 机器人操作

📋 核心要点

  1. 现有灵巧操作方法在铰接物体操作和跨类别泛化方面面临挑战。
  2. DART框架结合LTL任务语义理解和可供性学习，增强了扩散策略，提升了操作泛化性。
  3. 实验结果表明，DART在操作能力、泛化性能和鲁棒性上优于现有方法。

📝 摘要（中文）

本文提出了一种名为DART的新框架，旨在提升铰接物体操作的灵巧性和跨类别泛化能力。DART通过可供性学习和线性时序逻辑（LTL）表示来增强基于扩散的策略，从而提高学习效率和铰接灵巧操作的泛化性。具体而言，DART利用LTL理解任务语义，并利用可供性学习来识别最佳交互点。然后，基于扩散的策略将这些交互推广到各种类别。此外，本文还利用基于交互数据的优化方法来改进动作，克服了传统扩散策略通常依赖于离线强化学习或从演示中学习的局限性。实验结果表明，DART在操作能力、泛化性能、迁移推理和鲁棒性方面优于大多数现有方法。

🔬 方法详解

问题定义：论文旨在解决铰接物体操作中的泛化性问题，即如何让机器人能够操作不同类别的铰接物体。现有方法通常难以在不同铰接物体类别之间泛化，需要针对每个类别进行单独训练，效率低下。此外，传统扩散策略依赖离线强化学习或示教学习，难以进行在线优化。

核心思路：论文的核心思路是结合可供性学习和线性时序逻辑（LTL）来指导扩散策略的学习，从而提高泛化能力和学习效率。可供性学习用于识别物体上的最佳交互点，LTL用于理解任务的语义信息。通过这种方式，扩散策略可以学习到通用的操作策略，从而在不同类别的铰接物体上进行泛化。

技术框架：DART框架主要包含三个模块：LTL任务解析模块、可供性学习模块和基于扩散的策略模块。首先，LTL任务解析模块将任务描述转化为形式化的逻辑表达式。然后，可供性学习模块根据任务需求，识别物体上的最佳交互点。最后，基于扩散的策略模块根据LTL表达式和可供性信息，生成操作动作。此外，DART还利用基于交互数据的优化方法来改进动作。

关键创新：DART的关键创新在于将可供性学习和LTL引入到基于扩散的策略中，从而提高了铰接物体操作的泛化能力和学习效率。与传统的扩散策略相比，DART不需要大量的离线数据，可以通过在线优化来改进动作。此外，DART还能够理解任务的语义信息，从而更好地完成复杂的操作任务。

关键设计：DART使用深度神经网络来学习可供性，网络输入是物体的视觉信息和任务描述，输出是物体上每个点的可供性得分。扩散策略采用U-Net结构，输入是当前状态和目标状态，输出是动作序列。损失函数包括可供性损失、LTL损失和动作损失。基于交互数据的优化方法采用梯度下降算法，根据实际交互结果来调整动作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DART在铰接物体操作任务中取得了显著的性能提升。与现有方法相比，DART在操作成功率、泛化性能和鲁棒性方面均有明显优势。例如，在跨类别泛化实验中，DART的操作成功率比现有方法提高了15%以上。此外，DART还能够处理复杂的任务，例如需要多个步骤才能完成的操作。

🎯 应用场景

该研究成果可应用于智能家居、工业自动化等领域，例如，机器人可以利用该技术操作各种家用电器，完成开门、开抽屉等任务。在工业自动化中，机器人可以利用该技术操作各种设备，提高生产效率和灵活性。该技术还有望应用于医疗康复领域，帮助患者进行康复训练。

📄 摘要（原文）

Despite recent advances in dexterous manipulations, the manipulation of articulated objects and generalization across different categories remain significant challenges. To address these issues, we introduce DART, a novel framework that enhances a diffusion-based policy with affordance learning and linear temporal logic (LTL) representations to improve the learning efficiency and generalizability of articulated dexterous manipulation. Specifically, DART leverages LTL to understand task semantics and affordance learning to identify optimal interaction points. The {diffusion-based policy} then generalizes these interactions across various categories. Additionally, we exploit an optimization method based on interaction data to refine actions, overcoming the limitations of traditional diffusion policies that typically rely on offline reinforcement learning or learning from demonstrations. Experimental results demonstrate that DART outperforms most existing methods in manipulation ability, generalization performance, transfer reasoning, and robustness. For more information, visit our project website at: https://sites.google.com/view/dart0257/.