SMART: Zero-Shot Sim-to-Real Articulated Object Manipulation via Large-Scale Synthetic Pretraining

📄 arXiv: 2610.07652v1 📥 PDF

作者: Jicong Ao, Shuhan Jiang, Yuling Zhong, Yanwen Liu, Yuhan Gao, Jiangyuan Zhao, Yang Zhang, Shiqiang Zhu, Chenjia Bai, Xuelong Li

分类: cs.RO, cs.AI

发布日期: 2026-10-06

备注: Technical Report, 31 pages

💡 一句话要点

提出SMART系统以解决关节物体操控的零样本仿真到现实问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关节物体操控 零样本学习 合成数据 仿真平台 视觉-语言-动作模型 机器人技术 任务生成 智能系统

📋 核心要点

  1. 现有方法在收集关节物体交互的真实演示时面临挑战，尤其是在精确接触和约束跟随动作方面。
  2. 论文提出SMART系统，通过SMART-Sim仿真平台实现关节意识设计，促进任务生成和演示收集。
  3. 实验表明，基于SMART-Data预训练的模型在仿真基准上表现优异，实现了零样本转移和可扩展性能。

📝 摘要（中文）

与关节物体进行交互是具身智能系统的重要能力，但由于涉及精确的接触和约束跟随动作，收集大规模的真实世界演示仍然具有挑战性。尽管仿真提供了有前景的替代方案，但现有的合成数据工作覆盖的关节物体类别有限，且通用合成管道缺乏针对部件级语义和关节约束的明确设计，阻碍了代理任务生成和高质量关节操控演示的可扩展合成。为此，我们提出了SMART，一个利用大规模合成操控演示进行关节物体操控的可扩展系统。核心是SMART-Sim，一个具有关节意识设计的仿真平台，能够有效生成任务并高效收集演示。基于SMART-Sim，我们应用代理任务生成并设计了可扩展的分布式合成系统，合成了包含超过100万条演示的SMART-Data，涵盖44种原子任务类型、5种机器人设置和2507个关节物体。预训练于SMART-Data的视觉-语言-动作模型在仿真基准上表现出竞争力，并实现了零样本仿真到现实转移及在真实世界关节物体操控任务中的可扩展性能。

🔬 方法详解

问题定义：本论文旨在解决关节物体操控中的零样本仿真到现实转移问题。现有方法在真实演示收集上存在局限，尤其是在复杂的接触和约束动作方面。

核心思路：论文提出SMART系统，利用大规模合成演示来训练模型，特别设计了SMART-Sim仿真平台以支持关节意识的任务生成和演示收集。

技术框架：SMART系统包括SMART-Sim仿真平台、代理任务生成模块和分布式合成系统。SMART-Sim负责任务生成和演示收集，合成系统则生成包含多种任务和物体的SMART-Data。

关键创新：最重要的创新在于SMART-Sim的关节意识设计，使得任务生成和演示收集更加高效，突破了传统合成方法的局限。

关键设计：在设计中，采用了特定的损失函数以优化模型在接触丰富的环境中的表现，并通过大规模数据集的构建提升了模型的泛化能力。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于SMART-Data预训练的视觉-语言-动作模型在仿真基准上达到了竞争力的性能，并成功实现了零样本仿真到现实转移，展现出在真实世界关节物体操控任务中的可扩展性，提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、自动化装配和人机交互等。通过提供有效的合成演示，SMART系统能够显著提升机器人在复杂环境中的操控能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

The ability to interact with articulated objects is essential for embodied intelligent systems, but collecting large-scale real-world demonstrations for these interactions remains challenging due to the precise contact and constraint-following motions involved. Although simulation provides a promising alternative, existing synthetic data efforts cover limited articulated-object categories, while general-purpose synthesis pipelines lack explicit designs for part-level semantics and articulation constraints, hindering agentic task generation and scalable synthesis of high-quality articulated-manipulation demonstrations. To bridge this gap, we introduce SMART, a scalable system leveraging large-scale Synthesized Manipulation demonstrations for ARTiculated-object manipulation. At its core, we develop SMART-Sim, a simulation platform with articulation-aware design that enables effective task generation and efficient demonstration collection. Building on SMART-Sim, we apply agentic task generation and design a scalable distributed synthesis system, using them to synthesize SMART-Data, comprising over 1M demonstrations across 44 atomic task types, 5 robot setups, and 2,507 articulated objects. The vision-language-action (VLA) model pretrained on SMART-Data shows competitive performance on simulation benchmarks and achieves zero-shot sim-to-real transfer and scalable performance in real-world articulated-object manipulation tasks. This highlights the potential of synthetic demonstrations in providing effective and scalable supervision for improving VLA model performance in contact-rich articulated-object manipulation.