DexGarmentLab: Dexterous Garment Manipulation Environment with Generalizable Policy
作者: Yuran Wang, Ruihai Wu, Yue Chen, Jiarui Wang, Jiaqi Liang, Ziyu Zhu, Haoran Geng, Jitendra Malik, Pieter Abbeel, Hao Dong
分类: cs.RO, cs.AI, cs.CV
发布日期: 2025-05-16 (更新: 2025-10-12)
备注: NeurIPS2025 Spotlight
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出DexGarmentLab环境和HALO策略，解决服装灵巧操作中泛化性问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 服装操作 灵巧操作 机器人 强化学习 泛化能力 分层策略 结构对应
📋 核心要点
- 现有服装操作研究缺乏逼真的灵巧操作模拟环境，限制了算法的性能和泛化能力。
- 提出DexGarmentLab环境和HALO策略，利用服装结构对应关系自动生成数据集，并采用分层策略提升泛化能力。
- 实验表明，HALO策略在未见过的服装实例上表现出色，显著优于现有方法，验证了其泛化能力。
📝 摘要（中文）
服装操作由于服装类别、几何形状和变形的多样性而极具挑战。为了解决现有研究在服装灵巧操作模拟方面的不足，本文提出了DexGarmentLab，这是一个专为灵巧（特别是双手）服装操作设计的环境，包含大规模高质量的3D资产，适用于15个任务场景，并改进了服装建模的仿真技术，以缩小仿真与现实之间的差距。为了降低数据收集的人工成本，本文利用服装结构对应关系，仅使用单个专家演示自动生成具有多样化轨迹的数据集。此外，为了提高在不同服装形状和变形上的泛化能力，本文提出了一种分层服装操作策略（HALO）。该策略首先识别可转移的承载点以精确定位操作区域，然后生成可泛化的轨迹以完成任务。实验结果表明，HALO始终优于现有方法，成功泛化到以前未见过的实例，即使在形状和变形发生显著变化的情况下也能有效工作。
🔬 方法详解
问题定义：服装操作任务面临着服装类别、几何形状和变形的多样性带来的挑战。现有方法通常依赖于人工遥操作或训练专家强化学习策略来收集数据，这既耗时又费力。此外，即使有大量演示数据，也难以覆盖服装的无限状态，导致泛化能力不足。
核心思路：本文的核心思路是利用服装的结构对应关系来自动生成多样化的训练数据，并设计一种分层策略来提高泛化能力。通过结构对应关系，可以从单个专家演示中推断出多种不同的轨迹，从而减少人工干预。分层策略则通过首先定位可转移的承载点，然后生成可泛化的轨迹，来实现对不同服装形状和变形的鲁棒性。
技术框架：HALO策略包含两个主要模块：承载点识别模块和轨迹生成模块。承载点识别模块负责根据当前服装的状态，识别出可以进行操作的关键点。轨迹生成模块则根据识别出的承载点，生成一系列的动作指令，控制机械臂完成操作任务。整个流程是分层的，首先进行全局的承载点定位，然后进行局部的轨迹生成。
关键创新：HALO策略的关键创新在于其分层结构和对服装结构对应关系的利用。分层结构使得策略能够更好地处理复杂的服装操作任务，而对服装结构对应关系的利用则使得策略能够从少量数据中学习到泛化能力强的操作策略。此外，DexGarmentLab环境的提出也为服装操作的研究提供了一个统一的平台。
关键设计：承载点识别模块可能采用图神经网络来学习服装的结构信息，并预测承载点的位置。轨迹生成模块可能采用强化学习或模仿学习的方法，根据承载点的位置生成动作指令。损失函数的设计需要考虑操作的成功率和轨迹的平滑性。具体的网络结构和参数设置在论文中应该有详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HALO策略在多个服装操作任务上都取得了显著的性能提升，尤其是在泛化能力方面。HALO策略能够成功地处理以前未见过的服装实例，即使这些实例的形状和变形与训练数据存在显著差异。与现有方法相比，HALO策略在成功率和效率方面都有明显的优势。（具体性能数据未知，请参考论文）
🎯 应用场景
该研究成果可应用于服装制造、仓储物流、家政服务等领域。例如，在服装制造中，机器人可以自动完成服装的整理、折叠等任务；在仓储物流中，机器人可以自动完成服装的拣选、包装等任务；在家政服务中，机器人可以帮助人们完成服装的洗涤、熨烫等任务。该研究有助于提高这些领域的自动化水平，降低人工成本，提高效率。
📄 摘要（原文）
Garment manipulation is a critical challenge due to the diversity in garment categories, geometries, and deformations. Despite this, humans can effortlessly handle garments, thanks to the dexterity of our hands. However, existing research in the field has struggled to replicate this level of dexterity, primarily hindered by the lack of realistic simulations of dexterous garment manipulation. Therefore, we propose DexGarmentLab, the first environment specifically designed for dexterous (especially bimanual) garment manipulation, which features large-scale high-quality 3D assets for 15 task scenarios, and refines simulation techniques tailored for garment modeling to reduce the sim-to-real gap. Previous data collection typically relies on teleoperation or training expert reinforcement learning (RL) policies, which are labor-intensive and inefficient. In this paper, we leverage garment structural correspondence to automatically generate a dataset with diverse trajectories using only a single expert demonstration, significantly reducing manual intervention. However, even extensive demonstrations cannot cover the infinite states of garments, which necessitates the exploration of new algorithms. To improve generalization across diverse garment shapes and deformations, we propose a Hierarchical gArment-manipuLation pOlicy (HALO). It first identifies transferable affordance points to accurately locate the manipulation area, then generates generalizable trajectories to complete the task. Through extensive experiments and detailed analysis of our method and baseline, we demonstrate that HALO consistently outperforms existing methods, successfully generalizing to previously unseen instances even with significant variations in shape and deformation where others fail. Our project page is available at: https://wayrise.github.io/DexGarmentLab/.