SARI: Phase-Split Sim-Real Co-Training for Contact-Rich Manipulation

📄 arXiv: 2610.02804v1 📥 PDF

作者: Xingxin He, Yuxuan Jiang, Haonan Zhang, Chuhan Cui, Kaile Li, Zhongxing Zheng, Caihao Xu, Ziqi Wang

分类: cs.RO

发布日期: 2026-10-02

💡 一句话要点

提出SARI框架以解决接触丰富操作中的数据收集问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 接触丰富操作 数据收集优化 模拟与真实训练 机器人抓取

📋 核心要点

  1. 现有的视觉-语言-动作模型在接触丰富的操作任务中，往往需要大量的真实世界演示，导致数据收集成本高昂。
  2. SARI框架通过阶段分离的模拟与真实共同训练，利用合成生成和真实交互的优势，优化了数据收集过程。
  3. 实验结果表明，SARI在五个接触丰富的操作任务中，减少了34.3%的真实数据收集时间，并在未见放置上取得了27.5%的成功率。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在适应接触丰富的操作任务时，通常需要昂贵的现实世界演示，尤其是在需要跨物体放置进行泛化时。我们提出了SARI（模拟方法，真实交互），一个基于简单见解的阶段分离模拟与真实共同训练框架：空间覆盖和接触物理应从最适合它们的领域获取。具体而言，自由空间方法需要空间多样性但可以容忍适度的模拟差距，适合合成生成；而接触交互则要求准确的物理模型，但在物体放置上变化不大，允许少量真实演示在工作空间中泛化。SARI在光照真实的数字双胞胎中生成多样化的模拟方法，同时在少数放置中收集真实接触交互。经过这些阶段分段演示的后训练，单一策略无缝地将模拟方法与真实接触交互结合，使用视觉外观对齐和共享的相机相对动作表示——无需显式的阶段标签或手动编码的切换。在五个真实世界的接触丰富操作任务中，SARI将真实数据收集时间减少了34.3%，并在未见放置上实现了27.5%的成功率，而所有完整任务的模拟-真实基线完全失败（0%）。

🔬 方法详解

问题定义：论文旨在解决视觉-语言-动作模型在接触丰富操作任务中对真实演示依赖过重的问题，现有方法在物体放置泛化能力上存在不足，导致数据收集成本高。

核心思路：SARI框架的核心思路是通过阶段分离的方式，将模拟生成与真实交互结合，利用各自的优势来优化数据收集和模型训练。具体而言，模拟阶段关注空间多样性，而真实阶段则专注于准确的接触物理。

技术框架：SARI框架分为两个主要阶段：第一阶段在光照真实的数字双胞胎中生成多样化的模拟方法，第二阶段在少数真实放置中收集接触交互。最终，通过后训练将模拟与真实交互无缝结合。

关键创新：SARI的创新之处在于其阶段分离的训练策略，允许模型在没有显式阶段标签或手动切换的情况下，自动学习如何结合模拟与真实数据，从而提高了训练效率和泛化能力。

关键设计：在设计中，SARI使用了共享的相机相对动作表示和视觉外观对齐技术，确保了模拟与真实数据的有效结合。此外，损失函数的设计也考虑了空间覆盖和接触物理的特性，以优化训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个真实世界的接触丰富操作任务中，SARI框架成功将真实数据收集时间减少了34.3%，并在未见放置上实现了27.5%的成功率，显著优于所有完整任务的模拟-真实基线（0%成功率）。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化制造和人机交互等接触丰富的操作任务。通过减少真实数据收集的需求，SARI框架能够降低成本并加速模型的训练过程，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-language-action (VLA) models often require costly real-world demonstrations to adapt to contact-rich manipulation tasks, particularly when generalization across object placements is needed. We propose SARI (Simulated Approach, Real Interaction), a phase-split sim-and-real co-training framework built on a simple insight: spatial coverage and contact physics should be acquired from the domains best suited to them. Specifically, free-space approaches require spatial diversity but tolerate modest simulation gaps, making them ideal for synthetic generation; conversely, contact interactions demand accurate physics but vary little across object placements, allowing a few real demonstrations to generalize across the workspace. SARI generates diverse simulated approaches in a photorealistic digital twin while collecting real contact interactions at only a few placements. Post-trained on these phase-segmented demonstrations, a single policy seamlessly stitches simulated approaches with real contact interactions using visual appearance alignment and a shared camera-relative action representation--without explicit phase labels or hand-coded switches. Across five real-world contact-rich manipulation tasks, SARI reduces real-data collection time by 34.3% and achieves 27.5% success at unseen placements, where all full-task sim-real baselines fail completely (0%).