GraspTwin: Zero-Shot Task-Oriented Grasp Optimization via a Digital Twin
作者: Daniel J. Evans, Yinlong Dai, Simon Stepputtis, Dylan P. Losey
分类: cs.RO
发布日期: 2026-09-24
🔗 代码/项目: GITHUB
💡 一句话要点
提出GraspTwin以解决零-shot任务导向抓取优化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 任务导向抓取 数字双胞胎 贝叶斯优化 机器人抓取 基础模型 物理可行性 零-shot学习
📋 核心要点
- 现有的抓取方法往往无法兼顾任务导向和物理可行性，导致抓取效果不理想。
- 本文提出了一种基于数字双胞胎的框架，结合基础模型和贝叶斯优化，实现任务导向的抓取优化。
- 实验表明，该方法在真实环境中实现了零-shot转移，任务导向抓取成功率提高了33%。
📝 摘要（中文）
随着机器人从结构化的工厂环境转向家庭，它们需要与越来越多样化的物体进行交互。许多任务需要抓取，但仅仅拾起目标物体往往不足以完成任务。本文提出了一种基于数字双胞胎的框架，通过单一的RGB-D观察构建环境的数字双胞胎，利用大型基础模型提出符合物体特性和任务描述的抓取位置，并在执行前优化这些提案，以确保其稳健性和可行性。我们的关键见解是将基础模型的抓取提案视为语义先验，作为局部无梯度优化的种子。实验结果表明，该方法在真实世界中的零-shot转移仅需几分钟，相较于其他最先进的管道，任务导向抓取成功率提高了33%。
🔬 方法详解
问题定义：本文旨在解决机器人在执行任务时抓取物体的优化问题。现有方法往往只能找到稳健的抓取方式，缺乏对具体任务的适应性，导致抓取效果不佳。
核心思路：我们提出了一种结合数字双胞胎和基础模型的框架，通过构建环境的数字双胞胎，利用基础模型提供的抓取建议，进行局部优化，以实现任务导向的抓取。
技术框架：整体流程包括三个主要阶段：首先，通过单一的RGB-D观察构建数字双胞胎；其次，查询基础模型以获得抓取建议；最后，使用贝叶斯优化对抓取提案进行优化，确保其在物理上的可行性。
关键创新：本研究的创新在于将基础模型的抓取提案视为语义先验，并利用贝叶斯优化进行局部无梯度优化，这一方法显著提高了抓取的任务适应性和物理可行性。
关键设计：在优化过程中，我们采用了Thompson采样来生成附近抓取姿态的批次，并在随机化的物理环境中并行评估这些姿态，以确保最终抓取的稳健性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用GraspTwin方法在真实环境中的任务导向抓取成功率提高了33%，相较于其他最先进的抓取管道，展现了显著的性能提升。该方法的零-shot转移能力使得机器人能够快速适应新任务，具有良好的实用性。
🎯 应用场景
该研究的潜在应用领域包括家庭服务机器人、工业自动化和医疗辅助机器人等。通过提高机器人在复杂环境中抓取物体的能力，能够显著提升其在实际应用中的效率和可靠性，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
As robots transition from structured factory settings into homes, they are required to interact with an ever-increasing variety of objects. Many tasks require grasping, and often it is not sufficient to just pick up the target object. Consider a task like "pouring coffee" --- to facilitate the subsequent pouring, the robot should grasp the mug by its handle. Existing learning-based approaches for grasping either find robust and collision-free grasps that are largely agnostic to the task (e.g., picking up the mug by its rim), or leverage foundation models to propose task-appropriate grasp locations that lack fine-grained physical grounding (e.g., reaching for and missing the handle). In this work, we bridge these approaches with a real-to-sim-to-real framework. Based on a single RGB-D observation, we construct a digital twin of the environment, query a large foundation model to propose grasps that align with the object's affordances and task description, and then optimize the proposals to ensure robustness and plausibility before executing the result on the real robot. Our key insight is that the grasp proposals of the foundation model should be regarded as semantic priors that serve as seeds for local, gradient-free optimization. We leverage Bayesian optimization with Thompson sampling to draw batches of nearby poses, which are subsequently evaluated in parallel under domain-randomized physics rollouts. The resulting grasp is both task-oriented and physically feasible for execution by the robot arm. Our full zero-shot real-world transfer only takes a few minutes and improves task-oriented grasping success by up to 33% as compared to other state-of-the-art pipelines. Our code is available here: https://github.com/VT-Collab/GraspTwin/