DexDiff: Towards Extrinsic Dexterity Manipulation of Ungraspable Objects in Unrestricted Environments
作者: Chengzhong Ma, Houxue Yang, Hanbo Zhang, Zeyang Liu, Chao Zhao, Jian Tang, Xuguang Lan, Nanning Zheng
分类: cs.RO
发布日期: 2024-09-09 (更新: 2024-12-11)
💡 一句话要点
DexDiff：面向非结构化环境下的不可抓取物体外在灵巧操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人操作 外在灵巧性 视觉-语言模型 动作扩散模型 长时程规划
📋 核心要点
- 传统方法难以抓取大型扁平物体，因为无法找到合适的抓取姿势，且现有方法依赖特定任务策略，缺乏适应性和规划能力。
- DexDiff利用视觉-语言模型进行高层任务规划，并使用目标条件动作扩散模型预测低层动作，从而实现对外在灵巧性的有效利用。
- 实验结果表明，DexDiff在仿真和真实环境中均表现出色，能够处理未见过的物体，并在仿真中显著提升了抓取成功率。
📝 摘要（中文）
本文提出了一种名为DexDiff的鲁棒机器人操作方法，用于利用外在灵巧性进行长时程规划，以抓取大型扁平物体等传统上难以抓取的物体。该方法利用视觉-语言模型（VLM）感知环境状态并生成高层任务计划，然后使用目标条件动作扩散（GCAD）模型预测低层动作序列。GCAD模型从离线数据中学习低层策略，并以高层规划指导的累积奖励作为目标条件，从而改进机器人动作的预测。实验结果表明，该方法不仅能有效执行不可抓取的任务，还能推广到以前未见过的物体，在仿真中比基线方法成功率高出47%，并有助于在现实场景中进行高效部署和操作。
🔬 方法详解
问题定义：论文旨在解决机器人难以抓取大型扁平物体（如书本、盘子）的问题。现有方法通常依赖于特定的环境和任务，缺乏通用性和规划能力，难以适应复杂和非结构化的环境，并且无法有效地利用环境中的外在灵巧性（如墙壁、桌边）来辅助抓取。
核心思路：论文的核心思路是结合视觉-语言模型（VLM）进行高层任务规划，以及目标条件动作扩散（GCAD）模型进行低层动作生成。VLM负责理解环境和任务目标，生成粗略的行动计划；GCAD则根据高层计划，预测具体的机器人动作序列，从而实现对外在灵巧性的有效利用。
技术框架：DexDiff的整体框架包含两个主要模块：1) 基于视觉-语言模型（VLM）的高层任务规划模块：该模块接收环境图像和任务描述作为输入，输出高层任务计划，例如“推到桌边”、“倾斜”等。2) 基于目标条件动作扩散（GCAD）模型的低层动作生成模块：该模块接收高层任务计划和当前机器人状态作为输入，输出一系列低层机器人动作，例如关节角度变化。GCAD模型通过离线数据训练，并以高层规划指导的累积奖励作为目标条件。
关键创新：论文的关键创新在于将视觉-语言模型和目标条件动作扩散模型相结合，实现高层任务规划和低层动作生成的协同。这种方法能够有效地利用环境中的外在灵巧性，并具有较强的泛化能力。与现有方法相比，DexDiff不需要针对特定任务进行手动设计，而是可以通过学习自动适应不同的环境和任务。
关键设计：GCAD模型使用扩散模型来生成动作序列。具体来说，模型首先将目标条件（即高层任务计划）嵌入到动作序列中，然后通过迭代去噪过程，逐步生成最终的动作序列。损失函数包括动作预测损失和奖励预测损失，用于指导模型学习如何根据目标条件生成有效的动作序列。VLM使用预训练的CLIP模型，并针对特定任务进行微调。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DexDiff在仿真环境中比基线方法成功率高出47%，证明了其在处理不可抓取物体方面的有效性。此外，该方法还能够推广到以前未见过的物体，表明其具有较强的泛化能力。在真实世界实验中，DexDiff也表现出良好的性能，验证了其在实际应用中的可行性。
🎯 应用场景
该研究成果可应用于各种需要操作大型、扁平或难以抓取物体的场景，例如家庭服务机器人、仓库自动化、以及工业生产线。通过利用环境中的外在灵巧性，机器人可以更灵活、高效地完成任务，提高自动化水平和服务质量。未来，该技术有望扩展到更复杂的环境和任务，例如在拥挤或杂乱的环境中进行操作。
📄 摘要（原文）
Grasping large and flat objects (e.g. a book or a pan) is often regarded as an ungraspable task, which poses significant challenges due to the unreachable grasping poses. Previous works leverage Extrinsic Dexterity like walls or table edges to grasp such objects. However, they are limited to task-specific policies and lack task planning to find pre-grasp conditions. This makes it difficult to adapt to various environments and extrinsic dexterity constraints. Therefore, we present DexDiff, a robust robotic manipulation method for long-horizon planning with extrinsic dexterity. Specifically, we utilize a vision-language model (VLM) to perceive the environmental state and generate high-level task plans, followed by a goal-conditioned action diffusion (GCAD) model to predict the sequence of low-level actions. This model learns the low-level policy from offline data with the cumulative reward guided by high-level planning as the goal condition, which allows for improved prediction of robot actions. Experimental results demonstrate that our method not only effectively performs ungraspable tasks but also generalizes to previously unseen objects. It outperforms baselines by a 47% higher success rate in simulation and facilitates efficient deployment and manipulation in real-world scenarios.