HyperSim: A Holistic Sim-To-Real Framework For Robust Robotic Manipulation

📄 arXiv: 2605.26638v1 📥 PDF

作者: Junyi Dong, Haotian Luo, Ziwei Xu, Shengwei Bian, Heng Zhang, Sitong Mao, Jingyi Guo, Yang Xu, Wenhao Chen, Qiuyu Feng, Yao Mu, Ping Luo, Shunbo Zhou, Xiaodong Wu

分类: cs.RO

发布日期: 2026-05-26

备注: 9 pages, 8 figures

💡 一句话要点

HyperSim：用于鲁棒机器人操作的整体Sim-to-Real框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 Sim-to-Real 领域自适应 强化学习 对抗训练

📋 核心要点

  1. 现有机器人操作的Sim-to-Real方法难以克服领域差异，导致策略在真实世界中表现不佳。
  2. HyperSim通过高保真环境合成、对抗性轨迹生成和Sim-and-Real协同训练，系统地弥合了Sim-to-Real的差距。
  3. 实验表明，HyperSim在真实世界任务中取得了显著的成功率，并且提高了策略对动态不确定性的鲁棒性。

📝 摘要（中文）

为了推广具身智能，扩展数据量和多样性至关重要。虽然合成数据生成为昂贵的物理数据采集提供了一种可扩展的替代方案，但由于领域差距，将机器人操作策略从仿真转移到现实世界（sim-to-real）仍然是一个严峻的挑战。本文提出了HyperSim，一个整体框架，涵盖从合成数据生成到策略训练和无缝的真实世界部署。为了系统地弥合sim-to-real的差距，HyperSim通过三个核心支柱实现：高保真环境合成、对抗性轨迹生成和sim-and-real协同训练。总的来说，这些模块通过增强视觉保真度、扩大数据覆盖范围和强制执行领域不变表示来解决领域差异。我们通过一项大规模的实证研究严格验证了HyperSim，该研究涉及两个具有代表性的操作模型上的400次真实世界任务执行。在三个细粒度指标的评估下，我们的完整pipeline分别使用ACT和π_{0}实现了80%和95%的卓越sim-to-real成功率。此外，在我们的对抗性轨迹上训练的策略表现出显著增强的对动态不确定性的鲁棒性，在物理扰动下实现了高35%的完成率。

🔬 方法详解

问题定义：现有的Sim-to-Real方法在机器人操作任务中面临着严重的领域差距问题。仿真环境与真实环境在视觉特征、物理特性等方面存在差异，导致在仿真环境中训练的策略难以直接应用于真实机器人。现有方法难以同时兼顾环境的真实性、数据的多样性和策略的鲁棒性。

核心思路：HyperSim的核心思路是通过一个整体框架，从数据生成到策略训练，系统性地解决Sim-to-Real的领域差距。该框架包含三个关键模块：高保真环境合成、对抗性轨迹生成和Sim-and-Real协同训练。通过这些模块，HyperSim旨在增强视觉保真度，扩大数据覆盖范围，并强制执行领域不变表示，从而提高策略在真实世界中的泛化能力。

技术框架：HyperSim框架包含以下三个主要模块： 1. 高保真环境合成：使用先进的渲染技术和物理引擎，创建逼真的仿真环境，尽可能缩小仿真环境与真实环境在视觉和物理特性上的差异。 2. 对抗性轨迹生成：通过生成具有挑战性的轨迹，增加数据的多样性，提高策略的鲁棒性。对抗性轨迹可以模拟真实世界中可能出现的各种干扰和不确定性。 3. Sim-and-Real协同训练：同时在仿真环境和真实环境中使用数据进行训练，从而使策略能够学习到领域不变的表示，提高其在真实世界中的泛化能力。

关键创新：HyperSim的关键创新在于其整体性的Sim-to-Real框架，它将环境合成、数据生成和策略训练紧密结合在一起。与以往的方法相比，HyperSim更加注重系统性的解决领域差距问题，而不是仅仅关注单个方面的改进。对抗性轨迹生成是另一个重要的创新点，它能够有效地提高策略的鲁棒性。

关键设计： * 高保真环境合成：使用了基于物理的渲染（PBR）技术，以实现更逼真的视觉效果。 * 对抗性轨迹生成：采用强化学习方法，训练一个对抗智能体，生成能够最大程度干扰策略执行的轨迹。对抗智能体的奖励函数设计至关重要，需要平衡轨迹的难度和可行性。 * Sim-and-Real协同训练：使用了领域对抗训练（Domain Adversarial Training）技术，以学习领域不变的特征表示。损失函数包括任务损失、领域对抗损失和梯度惩罚项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HyperSim在两个代表性的操作模型上进行了大规模的实验验证，涉及400次真实世界任务执行。实验结果表明，使用ACT和π_{0}策略时，HyperSim分别实现了80%和95%的Sim-to-Real成功率。此外，在对抗性轨迹上训练的策略在物理扰动下实现了35%的完成率提升，表明其具有更强的鲁棒性。

🎯 应用场景

HyperSim框架可应用于各种机器人操作任务，例如装配、抓取、放置等。该研究成果有助于降低机器人部署的成本和难度，加速机器人在工业、医疗、服务等领域的应用。未来，该框架可以进一步扩展到更复杂的机器人任务和环境，例如多机器人协作、动态环境等。

📄 摘要（原文）

Scaling data volume and diversity is critical for generalizing embodied intelligence. While synthetic data generation offers a scalable alternative to expensive physical data acquisition, transferring robotic manipulation policies from simulation to the real world (sim-to-real) remains a formidable challenge due to the domain gap. This paper presents HyperSim, a holistic framework spanning from synthetic data generation to policy training and seamless real-world deployment. To systematically bridge the sim-to-real gap, HyperSim is realized through three core pillars: high-fidelity environment synthesis, adversarial trajectory generation, and sim-and-real co-training. Collectively, these modules address domain discrepancies by enhancing visual fidelity, expanding data coverage, and enforcing domain-invariant representations. We rigorously validate HyperSim through a large-scale empirical study involving 400 real-world task executions across two representative manipulation models. Assessed across three fine-grained metrics, our complete pipeline achieves remarkable sim-to-real success rates of 80% and 95% with ACT and π_{0}, respectively. Furthermore, policies trained on our adversarial trajectories exhibit significantly enhanced robustness against dynamic uncertainties, achieving a 35% higher completion rate under physical perturbations.