Skill2Real: Agentic Skill Learning for Zero-Shot Sim-to-Real Robot Manipulation

📄 arXiv: 2610.02788v1 📥 PDF

作者: Xincheng He, Siyu Ma, Chang Yu, Yunuo Chen, Yanjia Huang, Ying Nian Wu, Yin Yang, Chenfanfu Jiang

分类: cs.RO

发布日期: 2026-10-02

备注: 42 pages

💡 一句话要点

提出Skill2Real框架以解决机器人技能从模拟到现实的转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人技能转移 模拟到现实 代理策略框架 提议-验证-治理 共享API 局部操作技能 任务级组合学习 成功率提升

📋 核心要点

  1. 现有方法在将机器人技能从模拟环境转移到现实中时，面临感知和动力学差异带来的挑战。
  2. Skill2Real框架通过PVG循环和共享API，学习可执行技能并确保技能的有效性和可转移性。
  3. 实验显示，Skill2Real在多个任务上实现了显著的成功率提升，如LIBERO-90的成功率从2.0%提升至56.3%。

📝 摘要（中文）

将机器人技能从模拟环境转移到现实中需要跨越感知、动力学和体现的差异。本文提出Skill2Real，一个代理策略框架，通过共享的应用程序接口（API）学习可执行技能。采用提议-验证-治理（PVG）循环，利用特权模拟证据来诊断结果和验证更新，同时保持学习的技能与公共观察和API语义相一致。Cerebellum首先获取局部操作技能，随后Brain在Cerebellum冻结的情况下学习任务级组合。这些记忆能够在不进行任务策略微调或技能记忆更新的情况下转移到真实机器人上。实验结果表明，Skill2Real显著提升了机器人在现实世界中的操作成功率。

🔬 方法详解

问题定义：论文旨在解决机器人技能从模拟到现实转移中的知识共享和适应性问题，现有方法往往无法有效应对感知和动力学的差异。

核心思路：Skill2Real框架通过引入PVG循环，利用模拟环境中的特权信息来验证和更新技能，同时保持技能与公共API的语义一致性。

技术框架：该框架包括Cerebellum和Brain两个主要模块，Cerebellum负责局部技能的学习，而Brain则在Cerebellum冻结的情况下进行任务级组合学习。

关键创新：Skill2Real的创新在于其通过PVG循环实现了技能的有效学习和转移，避免了传统方法中常见的任务策略微调和技能记忆更新的需求。

关键设计：在设计中，Skill2Real采用了共享API，确保了不同技能之间的兼容性，并通过冻结Cerebellum来优化任务组合学习的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Skill2Real在LIBERO-90任务上成功率从2.0%提升至56.3%，并在独立的Robosuite训练中实现了85.1%和89.4%的平均成功率。此外，去除Verifier或Governor会导致最终成功率下降17.3和13.3个百分点，验证了PVG循环的重要性。

🎯 应用场景

该研究在机器人操作领域具有广泛的应用潜力，尤其是在需要将模拟训练成果快速转化为现实操作的场景中，如工业自动化、服务机器人和无人驾驶等。Skill2Real的框架可以帮助机器人更高效地适应复杂的现实环境，提高其操作的灵活性和成功率。

📄 摘要（原文）

Transferring robotic skills from simulation to reality requires task knowledge that remains usable across differences in perception, dynamics, and embodiment. We introduce Skill2Real, an agentic policy framework that learns executable skills through a shared application programming interface (API). A Proposer-Verifier-Governor (PVG) loop uses privileged simulation evidence to diagnose outcomes and validate updates, while keeping learned skills grounded in public observations and API semantics. The Cerebellum first acquires local manipulation skills; the Brain then learns task-level composition with the Cerebellum frozen. Both memories transfer to the real robot without task-policy fine-tuning or skill-memory updates. As GPT-5.6 Sol learns skills on LIBERO-90, evaluating each frozen checkpoint with GPT-6 Astra raises LIBERO-Pro Long success from 2.0% to 56.3%, without training on Pro Long. Independent Robosuite training reaches 85.1% and 89.4% mean success with Sol and Opus 5 across seven tasks, respectively. Frozen Sol-trained LIBERO-90 skills achieve 78.75% mean completion across four real-world manipulation tasks with Astra. Removing the Verifier or Governor during LIBERO-90 training lowers final Pro Long success by 17.3 and 13.3 percentage points, respectively. These results support learning and transferring a hierarchy of executable skills through a common robot interface.