Explore, Execute, Evolve: A Skill Acquisition and Reuse Loop for Embodied Agents
作者: Sicheng Xie, Yitong Chen, Haidong Cao, Shunlin Lu, Zuxuan Wu, Yu-Gang Jiang
分类: cs.RO, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出RoboSkill框架以解决机器人任务泛化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 技能获取 技能重用 多模态代理 机器人任务执行 探索执行进化 视觉触觉反馈 自适应学习
📋 核心要点
- 现有的多模态代理在解决未见任务时存在高执行成本和泛化能力不足的问题。
- 本文提出RoboSkill框架，通过探索、执行和进化的循环来连接技能获取与重用，提升任务执行效率。
- 实验结果表明，RoboSkill在多个代理上显著提升了首次成功率和减少了运行时间，验证了其有效性。
📝 摘要（中文）
视觉-语言-行动和世界-行动模型在机器人领域展现了卓越的能力，但在未见任务的泛化上仍面临挑战。为降低高昂的执行成本，本文提出了RoboSkill框架，通过探索、执行和进化的循环连接技能获取与重用。该框架通过探索收集任务相关信息，执行任务并根据反馈进行适应，同时基于执行记录进化技能库。RoboSkill在LIBERO-10上提升了首次成功率12.5-25.0个百分点，并在四个代理上平均减少运行时间7.6-72.4%。在真实机器人上，成功率提升8.3个百分点，成功试验的平均运行时间至少减少14.4%。
🔬 方法详解
问题定义：本文旨在解决机器人在面对未见任务时的泛化能力不足和高执行成本的问题。现有方法往往需要从头开始推理和探索物理世界，导致效率低下。
核心思路：RoboSkill框架通过探索、执行和进化的循环，促进技能的获取与重用。该设计旨在通过不断反馈和学习，减少执行成本并提高任务成功率。
技术框架：RoboSkill的整体架构包括三个主要阶段：探索阶段收集任务相关信息，执行阶段根据反馈调整执行策略，进化阶段基于执行记录更新技能库。每个阶段相互关联，形成闭环。
关键创新：RoboSkill的核心创新在于结合视觉和触觉反馈，以减少物理交互中的不确定性，同时通过可重用代码增强文本指导，从而降低技能重用时的推理开销。这与现有方法相比，显著提高了效率和成功率。
关键设计：在实现中，RoboSkill采用了多模态输入，包括视觉和触觉信息，设计了适应性执行策略，并通过记录和分析执行结果来不断优化技能库。具体的参数设置和损失函数设计在文中详细描述。
🖼️ 关键图片
📊 实验亮点
RoboSkill在LIBERO-10数据集上首次成功率提升12.5-25.0个百分点，平均运行时间减少7.6-72.4%。在真实机器人实验中，成功率提升8.3个百分点，成功试验的平均运行时间至少减少14.4%，显示出显著的性能改进。
🎯 应用场景
RoboSkill框架在机器人任务执行中具有广泛的应用潜力，尤其是在需要快速适应新环境和任务的场景，如服务机器人、工业自动化和智能家居等领域。其高效的技能获取与重用机制将推动机器人技术的进一步发展，提升机器人在复杂环境中的自主性和智能水平。
📄 摘要（原文）
Vision-language-action and world-action models have demonstrated impressive capabilities in robotics, yet generalization to unseen tasks remains challenging. More recently, general-purpose multimodal agents have shown great potential for zero-shot robotic task solving. However, they often incur high execution costs by reasoning and exploring the physical world from scratch. To reduce these costs, we introduce RoboSkill, a framework that connects skill acquisition and reuse through an Explore, Execute, Evolve loop. Within this loop, the agent explores to gather task-relevant information, executes tasks while adapting to feedback, and evolves its skill library based on execution records. It then reuses these skills to guide exploration and execution in the next cycle, closing the loop. To improve loop efficiency, we complement vision with tactile feedback to reduce uncertainty during physical interaction. We further augment textual guidance with reusable code to reduce reasoning overhead during skill reuse. On LIBERO-10, RoboSkill improves first-episode success rates by 12.5--25.0 percentage points and reduces average runtime by 7.6--72.4% across four agents. On real robots, it improves success rates by 8.3 percentage points and reduces average runtime for successful trials by at least 14.4%.