GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation

📄 arXiv: 2607.05869v1 📥 PDF

作者: Paul Koch. Adem Karakurt, André Sers

分类: cs.RO, cs.CV

发布日期: 2026-07-07

备注: Preprint, release soon

💡 一句话要点

提出GraspIT以解决机器人抓取数据集缺乏真实验证的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人抓取 数据集 物理验证 RGB-D图像 模拟与现实 抓取质量评估 开源工具

📋 核心要点

  1. 现有的数据集无法同时提供高质量的RGB-D图像和经过物理验证的抓取质量注释，限制了机器人抓取的稳健性。
  2. GraspIT通过在模拟环境中进行物理滑动测试，生成高质量的抓取数据，并将其映射到真实世界场景中，解决了模拟与现实之间的差距。
  3. 在实验中，约83%的抓取候选被评为良好，且提供了316,000个注释的RGB-D帧集，显著提升了抓取策略的有效性和可靠性。

📝 摘要（中文）

稳健的机器人抓取新物体需要同时提供逼真的RGB-D观测、经过物理验证的抓取质量注释，以及模拟与现实之间的有效桥梁，而现有数据集无法同时满足这些要求。GraspIT通过在NVIDIA Isaac Sim中对桌面场景进行四阶段物理滑动测试，生成了轨迹可达性检查和超越力闭合的连续质量评分。在约230万个候选抓取中，83%被评为“良好”（评分≥0.50）；17%通过力闭合但未通过滑动测试的抓取提供了分级的困难负样本。该研究将这些标签回投影到100个真实场景中，发布了约316,000个注释的RGB-D帧集，涵盖1035个模拟场景和100个真实场景，包含实例掩码、6自由度姿态、物理对象属性和评分的6自由度抓取。所有工具均为开源并容器化。

🔬 方法详解

问题定义：本论文旨在解决现有机器人抓取数据集缺乏真实验证和高质量注释的问题。现有方法往往无法同时提供逼真的视觉数据和经过物理验证的抓取质量，导致抓取策略在真实环境中的表现不佳。

核心思路：论文提出的GraspIT方法通过在NVIDIA Isaac Sim中进行物理滑动测试，生成高质量的抓取数据，并将这些数据有效地映射到真实场景中，从而建立模拟与现实之间的桥梁。

技术框架：GraspIT的整体架构包括四个主要阶段：首先在模拟环境中生成抓取候选；其次通过物理滑动测试对抓取质量进行评估；然后将评估结果回投影到真实场景；最后发布包含RGB-D图像和抓取注释的数据集。

关键创新：GraspIT的主要创新在于其四阶段物理滑动测试方法，能够提供比传统力闭合更全面的抓取质量评估，并且通过回投影技术有效地将模拟数据映射到真实世界。

关键设计：在抓取质量评估中，采用了连续评分机制，评分标准包括抓取的可达性和滑动测试结果。此外，数据集包含实例掩码、6自由度姿态和物理属性等信息，增强了数据的实用性。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

在实验中，GraspIT生成了约230万个抓取候选，其中83%被评为“良好”，并提供了316,000个注释的RGB-D帧集。与传统方法相比，GraspIT在抓取质量评估上显著提升了数据的可靠性和实用性，为机器人抓取研究提供了新的数据基础。

🎯 应用场景

GraspIT数据集的潜在应用领域包括机器人抓取、自动化仓储、智能制造等。通过提供高质量的抓取数据，研究人员和工程师可以更好地训练和评估机器人抓取策略，提高机器人在复杂环境中的操作能力，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Robust robotic grasping of novel objects requires datasets that simultaneously provide photorealistic RGB-D observations, physically validated grasp quality annotations, and a principled bridge between simulation and the real world, which existing datasets lack to provide jointly. \textbf{GraspIT} addresses this gap: tabletop scenes in NVIDIA Isaac Sim are annotated via a four-stage physical slip-test on parallel Franka Panda instances, producing trajectory-reachability checks and continuous quality scores beyond force-closure.Of ${\sim}$2.3M candidates, 83% pass as \emph{good} ($s{\geq}0.50$); the 17% that passed force-closure but failed the slip-test provide graded hard negatives. A Real$\leftrightarrow$Sim loop back-projects these labels onto 100 real-world scenes. The release provides ${\sim}$316k annotated RGBD frame sets across 1035 sim and 100 real scenes, with instance masks, 6-DoF poses, physical object properties, and scored 6-DoF grasps. All tools are open-source and Docker-containerized. The trajectory planning within Isaac Sim further allows streaming of high resolution demonstrations for tabletop manipulation policy learning and behavior cloning.