DEXTERA: From a Single Image to Deployable Dexterous Manipulation via Real-to-Sim-to-Real

📄 arXiv: 2609.21045v1 📥 PDF

作者: Jin Wu, Lianjie Yuan, Zeyan Sun, Yuanyuan Lei, Disi A, Bicheng Han, Fangzhou Xia

分类: cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出DEXTERA以解决机器人灵巧操作的数据收集问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灵巧操作 机器人技术 数据合成 物理模拟 策略学习 自动化框架 数字双胞胎

📋 核心要点

  1. 现有方法在收集真实世界机器人数据方面成本高且耗时，且手动构建数字双胞胎劳动密集。
  2. DEXTERA通过自动化的真实-模拟-真实框架，将单张图像转化为可部署的灵巧操作策略，涵盖多个阶段。
  3. 实验表明，DEXTERA在视觉保真度和几何重建上优于基线，且模拟训练的策略实现了零-shot真实机器人部署。

📝 摘要（中文）

收集真实世界的机器人数据以进行灵巧操作既昂贵又耗时。尽管高保真物理模拟器能够实现可扩展的数据合成和策略学习，但手动构建可部署的数字双胞胎仍然劳动密集，且残余的视觉、几何和动力学差距阻碍了可靠的模拟到现实转移。我们提出了DEXTERA，一个自动化的真实-模拟-真实框架，将单张RGB图像转化为可部署的灵巧操作策略，涵盖四个统一阶段：单图像场景因子分解、场景全局对齐与机器人校准、可扩展模拟器任务原语构建以及共享多模态策略接口。实验结果表明，DEXTERA在视觉保真度和三维几何重建方面优于生成基线，同时跨域轨迹重放验证了强大的物理交互一致性。

🔬 方法详解

问题定义：本论文旨在解决灵巧操作中收集真实世界数据的高成本和时间消耗问题，现有方法在构建可部署数字双胞胎时面临劳动密集和视觉、几何、动力学差距的挑战。

核心思路：DEXTERA的核心思路是通过自动化流程将单张RGB图像转化为可部署的操作策略，减少人工干预并提高数据合成的效率。

技术框架：DEXTERA的整体架构分为四个主要阶段：1) 单图像场景因子分解，2) 场景全局对齐与机器人校准，3) 可扩展模拟器任务原语构建，4) 共享多模态策略接口。

关键创新：DEXTERA的主要创新在于其自动化的真实-模拟-真实框架，显著降低了手动构建数字双胞胎的需求，并提高了模拟到现实的转移效果。

关键设计：在设计中，DEXTERA采用了VLM推断的物理参数、形态平衡的机器人校准和对象中心的轨迹合成等关键技术细节，以确保高效的策略学习和部署。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DEXTERA在13个任务-体现对比、2个灵巧机器人平台和6种策略架构上进行了评估，实验结果显示其在视觉保真度和三维几何重建方面优于生成基线。此外，模拟训练的策略实现了零-shot真实机器人部署，模拟与现实共同训练将物理策略成功率从29.2%提升至61.9%。

🎯 应用场景

DEXTERA的研究成果在机器人灵巧操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过降低数据收集成本和提高模拟到现实的转移效率，该框架能够加速机器人技术的实际部署，推动智能制造和服务机器人等行业的发展。

📄 摘要（原文）

Collecting real-world robot data for dexterous manipulation is costly and time-consuming. While high-fidelity physics simulators enable scalable data synthesis and policy learning, constructing deployment-ready digital twins manually remains labor-intensive, and residual visual, geometric, and dynamics gaps hinder reliable sim-to-real transfer. We present DEXTERA, an automated real-to-sim-to-real framework that transforms a single RGB image into deployable policies for dexterous manipulation across four unified stages: (1) single-image scene factorization into a static Gaussian background and interactive rigid or articulated assets with VLM-inferred physical parameters; (2) metric scene global alignment, object canonicalization, and morphology-balanced robot calibration; (3) scalable simulator task primitive construction, VR teleoperation, and object-centric trajectory synthesis; and (4) a shared multimodal policy interface supporting both imitation learning and reinforcement learning. We evaluate DEXTERA across 13 task-embodiment pairs, 2 dexterous robot platforms, and 6 policy architectures. Experimental results demonstrate that DEXTERA achieves superior visual fidelity and 3D geometric reconstruction compared to generative baselines, while cross-domain trajectory replays validate strong physical interaction consistency. Furthermore, simulation-only trained policies enable viable zero-shot real-robot deployment, while simulation-real co-training substantially improves mean physical policy success from 29.2% to 61.9% across diverse policy architectures.