GeCo-SRT: Geometry-aware Continual Adaptation for Robotic Cross-Task Sim-to-Real Transfer
作者: Wenbo Yu, Wenke Xia, Weitao Zhang, Di Hu
分类: cs.RO
发布日期: 2026-02-24
备注: Accepted By CVPR 2026
💡 一句话要点
提出GeCo-SRT，通过几何感知持续学习实现机器人跨任务Sim-to-Real迁移。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: Sim-to-Real迁移 持续学习 机器人控制 几何感知 经验回放
📋 核心要点
- 现有Sim-to-Real方法将每次迁移孤立看待，需要重复调参，浪费经验，限制了效率和泛化性。
- GeCo-SRT利用几何特征的领域不变性，通过混合专家模块和优先经验回放实现知识积累和持续学习。
- 实验表明，GeCo-SRT相比基线方法平均性能提升52%，且在新任务上仅需1/6的数据即可达到良好效果。
📝 摘要（中文）
为了将低成本的仿真数据应用于真实世界的机器人系统，弥合Sim-to-Real差距至关重要。然而，以往的方法将每次迁移视为孤立的个体，需要重复且昂贵的调整，并浪费了之前的迁移经验，因此受到了严重限制。为了超越孤立的Sim-to-Real，我们构建了一个以迭代迁移中的知识积累为中心的持续跨任务Sim-to-Real迁移范式，从而能够有效且高效地适应新任务。因此，我们提出了一种几何感知的持续适应方法GeCo-SRT。它利用来自局部几何特征的领域不变和任务不变知识作为可迁移的基础，以加速后续Sim-to-Real迁移期间的适应。该方法首先使用一个几何感知的混合专家模块，该模块动态激活专家以专门研究不同的几何知识，从而弥合观察Sim-to-Real差距。此外，几何专家引导的优先经验回放模块优先从利用不足的专家那里进行采样，刷新专门知识以对抗遗忘并保持强大的跨任务性能。利用迭代迁移过程中积累的知识，GeCo-SRT方法不仅实现了比基线平均52%的性能提升，而且还展示了显著的数据效率，仅用1/6的数据即可适应新任务。我们希望这项工作能够启发高效、低成本的跨任务Sim-to-Real迁移方法。
🔬 方法详解
问题定义：论文旨在解决机器人领域中，跨任务的Sim-to-Real迁移问题。现有方法通常将每次Sim-to-Real迁移视为独立的任务，缺乏对先前迁移经验的有效利用，导致在新任务上需要大量的样本和计算资源进行重新训练和调整，效率低下，且难以泛化到新的任务场景。
核心思路：论文的核心思路是利用几何特征的领域不变性，构建一个能够持续学习和积累知识的Sim-to-Real迁移框架。通过学习和利用在不同任务中共享的几何知识，加速新任务的适应过程，并减少对大量训练数据的依赖。
技术框架：GeCo-SRT框架主要包含两个核心模块：几何感知的混合专家模块（Geometry-aware Mixture-of-Experts Module）和几何专家引导的优先经验回放模块（Geometry-Expert-Guided Prioritized Experience Replay Module）。首先，混合专家模块将输入观测分解为不同的几何特征，并由不同的专家进行处理，从而学习到领域不变和任务不变的几何知识。然后，优先经验回放模块根据专家利用率对经验进行采样，优先选择利用不足的专家的经验，从而避免知识遗忘，并保持模型的泛化能力。
关键创新：论文的关键创新在于提出了一个几何感知的持续学习框架，能够有效地利用先前任务的经验，加速新任务的Sim-to-Real迁移过程。与传统的孤立迁移方法相比，GeCo-SRT能够通过知识积累和迁移，显著提高数据效率和泛化能力。
关键设计：在几何感知的混合专家模块中，使用了多个专家网络来处理不同的几何特征。每个专家网络都专注于学习特定的几何知识，并通过一个门控机制来动态激活。在几何专家引导的优先经验回放模块中，使用了优先采样策略，根据专家利用率对经验进行采样。利用率低的专家对应的经验会被赋予更高的采样概率，从而保证模型能够充分学习到所有专家的知识。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GeCo-SRT方法在跨任务Sim-to-Real迁移任务上取得了显著的性能提升。相比于基线方法，GeCo-SRT平均性能提升了52%，并且在新任务上仅需1/6的数据即可达到与基线方法相当的性能。这些结果验证了GeCo-SRT方法在数据效率和泛化能力方面的优势。
🎯 应用场景
该研究成果可广泛应用于机器人控制、自动驾驶、智能制造等领域。通过利用仿真数据进行预训练，并结合少量真实数据进行微调，可以显著降低机器人部署的成本和时间，提高机器人在复杂环境中的适应性和鲁棒性。未来，该方法有望推动机器人技术在更多实际场景中的应用。
📄 摘要（原文）
Bridging the sim-to-real gap is important for applying low-cost simulation data to real-world robotic systems. However, previous methods are severely limited by treating each transfer as an isolated endeavor, demanding repeated, costly tuning and wasting prior transfer experience.To move beyond isolated sim-to-real, we build a continual cross-task sim-to-real transfer paradigm centered on knowledge accumulation across iterative transfers, thereby enabling effective and efficient adaptation to novel tasks. Thus, we propose GeCo-SRT, a geometry-aware continual adaptation method. It utilizes domain-invariant and task-invariant knowledge from local geometric features as a transferable foundation to accelerate adaptation during subsequent sim-to-real transfers. This method starts with a geometry-aware mixture-of-experts module, which dynamically activates experts to specialize in distinct geometric knowledge to bridge observation sim-to-real gap. Further, the geometry-expert-guided prioritized experience replay module preferentially samples from underutilized experts, refreshing specialized knowledge to combat forgetting and maintain robust cross-task performance. Leveraging knowledge accumulated during iterative transfer, GeCo-SRT method not only achieves 52% average performance improvement over the baseline, but also demonstrates significant data efficiency for new task adaptation with only 1/6 data.We hope this work inspires approaches for efficient, low-cost cross-task sim-to-real transfer.