General-purpose Clothes Manipulation with Semantic Keypoints

📄 arXiv: 2408.08160v3 📥 PDF

作者: Yuhong Deng, David Hsu

分类: cs.RO, cs.AI

发布日期: 2024-08-15 (更新: 2025-03-26)

备注: accepted by IEEE International Conference on Robotics and Automation (ICRA 2025)

💡 一句话要点

CLASP：基于语义关键点的通用衣物操作方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 衣物操作 语义关键点 机器人操作 深度学习 LLM 任务规划 家庭服务机器人

📋 核心要点

  1. 现有衣物操作方法难以处理复杂形变，且通常针对特定任务设计，泛化能力不足。
  2. CLASP 提出利用语义关键点作为衣物操作的稀疏表示，连接高层任务规划和底层动作执行。
  3. 实验表明，CLASP 在多种衣物类型和任务上优于基线方法，并在真实机器人上验证了其有效性。

📝 摘要（中文）

衣物操作是家庭服务机器人的关键能力。然而，由于可变形织物复杂的高维几何特性，现有方法通常局限于折叠或展平等特定任务。本文提出了基于语义关键点的衣物操作方法（CLASP），用于通用衣物操作，使机器人能够对不同类型的衣物执行各种操作任务。CLASP 的核心思想是语义关键点——例如，“右肩”、“左袖”等——这是一种稀疏的空间-语义表示，对于感知和动作都非常重要。衣物的语义关键点可以有效地从深度图像中提取，并且足以表示广泛的衣物操作策略。CLASP 利用语义关键点在两级层次结构中桥接 LLM 驱动的任务规划和低级动作执行。大量的仿真实验表明，CLASP 在已见和未见任务中都优于各种衣物类型的基线方法。此外，在 Kinova 双臂系统上进行的折叠、展平、悬挂和放置四个不同任务的实验证实了 CLASP 在真实机器人上的性能。

🔬 方法详解

问题定义：现有衣物操作方法主要痛点在于对衣物复杂形变的建模和处理能力不足，导致泛化性差，难以适应不同类型衣物和任务的需求。现有方法通常针对特定任务（如折叠）进行优化，缺乏通用性。

核心思路：CLASP 的核心思路是利用语义关键点来表示衣物，将复杂的衣物形变问题简化为关键点之间的关系推理。语义关键点（如衣领、袖口等）既包含了衣物的语义信息，又具有明确的空间位置，便于机器人进行感知和操作。这种稀疏表示方法降低了问题的复杂度，提高了泛化能力。

技术框架：CLASP 采用两级层次结构：1) 基于 LLM 的任务规划器，负责将高层任务指令（如“折叠衬衫”）分解为一系列操作步骤，并确定需要操作的语义关键点。2) 低层动作执行器，负责根据任务规划器提供的语义关键点信息，生成具体的机器人动作序列，控制机器人完成衣物操作。深度图像用于提取语义关键点。

关键创新：CLASP 的关键创新在于引入了语义关键点作为衣物操作的中间表示。与直接操作原始图像或点云数据相比，语义关键点能够更好地表达衣物的结构信息和操作意图，从而提高了操作的鲁棒性和泛化性。此外，CLASP 将 LLM 用于任务规划，进一步提高了系统的灵活性和智能性。

关键设计：语义关键点的检测使用了深度图像作为输入，具体检测方法未知。LLM 的选择和提示工程对任务规划的性能至关重要，具体细节未知。低层动作执行器可能采用了强化学习或运动规划等方法，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLASP 在仿真实验中，针对多种衣物类型和任务，显著优于基线方法，表明其具有良好的泛化能力。在真实的 Kinova 双臂机器人上，CLASP 成功完成了折叠、展平、悬挂和放置四种不同的衣物操作任务，验证了其在真实环境中的可行性。具体的性能指标和提升幅度未知。

🎯 应用场景

CLASP 具有广泛的应用前景，可用于家庭服务机器人、服装制造自动化、以及仓储物流等领域。例如，家庭服务机器人可以利用 CLASP 帮助人们整理衣物、叠衣服、挂衣服等。在服装制造领域，CLASP 可以用于自动化服装的缝纫、熨烫等工序。在仓储物流领域，CLASP 可以用于自动化衣物的分拣、打包等任务。该研究有望提升机器人在复杂环境下的操作能力，提高生产效率和服务质量。

📄 摘要（原文）

Clothes manipulation is a critical capability for household robots; yet, existing methods are often confined to specific tasks, such as folding or flattening, due to the complex high-dimensional geometry of deformable fabric. This paper presents CLothes mAnipulation with Semantic keyPoints (CLASP) for general-purpose clothes manipulation, which enables the robot to perform diverse manipulation tasks over different types of clothes. The key idea of CLASP is semantic keypoints -- e.g., "right shoulder", "left sleeve", etc. -- a sparse spatial-semantic representation that is salient for both perception and action. Semantic keypoints of clothes can be effectively extracted from depth images and are sufficient to represent a broad range of clothes manipulation policies. CLASP leverages semantic keypoints to bridge LLM-powered task planning and low-level action execution in a two-level hierarchy. Extensive simulation experiments show that CLASP outperforms baseline methods across diverse clothes types in both seen and unseen tasks. Further, experiments with a Kinova dual-arm system on four distinct tasks -- folding, flattening, hanging, and placing -- confirm CLASP's performance on a real robot.