DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self-Evolving Tool Library
作者: Youhui Wang, Yunzhu Li, Li Fei-Fei, Jiajun Wu, Huang Huang
分类: cs.RO
发布日期: 2026-09-28
备注: 15 pages, 8 figures, 4 tables. Project website: https://dexagent123.github.io/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出DexAgent框架以解决灵巧机器人操作中的多样性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 灵巧操作 人类视频 自适应学习 机器人轨迹优化 物理验证 工具库 长时间任务 仿真到现实转移
📋 核心要点
- 现有的人类到仿真再到机器人流程难以适应多样的物体属性和交互，特别是关节和可变形物体的操作。
- DexAgent框架通过四个阶段将人类视频和任务提示转换为机器人轨迹，具备自适应选择和开发技能的能力。
- 在真实任务中，使用DexAgent生成的数据训练的策略成功率比基线提高了3.5倍，显示出显著的性能提升。
📝 摘要（中文）
人类视频为灵巧机器人操作提供了可扩展的演示来源。然而，现有的人类到仿真再到机器人（Human2Sim2Robot）流程依赖于预定义的程序，难以适应多样的物体属性和交互，尤其是涉及关节和可变形物体的情况。本文提出了DexAgent，一个自主的人类到仿真再到机器人框架，将单个自我中心的人类视频和任务提示转换为物理基础的机器人轨迹以进行策略训练。DexAgent通过四个阶段操作：人类视频的语义理解、基于属性的仿真重建、机器人轨迹优化和机器人数据生成。在每个阶段，DexAgent根据任务和物体属性选择合适的技能或在需要时开发新技能。属性特定的验证器评估阶段结果的物理有效性和任务特定要求，并提供反馈以进行改进，从而防止错误在工作流程中传播。该自适应的验证引导过程使DexAgent能够处理多样的物体和长时间的任务。最终阶段，DexAgent在仿真中变化物体和机器人状态，从单个视频生成多样的机器人轨迹，并重新纹理渲染观察结果以促进仿真到现实的转移。新开发的技能和验证器被保留在工具库中，使其自我演化以积累可重用的能力。随着DexAgent处理更多人类视频，处理时间减少。在十一项真实任务中，使用DexAgent生成数据训练的策略成功率比竞争基线高出3.5倍。
🔬 方法详解
问题定义：本文旨在解决现有Human2Sim2Robot流程在处理多样物体属性和交互时的局限性，尤其是关节和可变形物体的操作难题。
核心思路：DexAgent框架通过自适应选择和开发技能，结合物理验证，优化机器人轨迹生成过程，以适应不同的任务和物体属性。
技术框架：DexAgent的整体架构包括四个主要阶段：1) 人类视频的语义理解；2) 基于属性的仿真重建；3) 机器人轨迹优化；4) 机器人数据生成。每个阶段都根据任务和物体属性进行调整。
关键创新：DexAgent的核心创新在于其自适应性和验证引导的过程，能够在处理多样物体和长时间任务时有效防止错误传播，这在现有方法中是缺乏的。
关键设计：在每个阶段，DexAgent使用属性特定的验证器来评估结果的物理有效性，并根据反馈进行迭代改进。此外，新开发的技能和验证器会被保留在工具库中，使其具备自我演化的能力。
🖼️ 关键图片
📊 实验亮点
在实验中，使用DexAgent生成的数据训练的策略在十一项真实任务中成功率达到了3.5倍于竞争基线，显示出显著的性能优势。这一结果表明DexAgent在灵巧操作中的有效性和优越性。
🎯 应用场景
DexAgent框架具有广泛的应用潜力，特别是在需要灵巧操作的机器人任务中，如家庭服务、医疗辅助和工业自动化等领域。其自适应能力和高效的技能积累机制将推动机器人在复杂环境中的应用，提升其智能化水平。
📄 摘要（原文）
Human videos offer a scalable source of demonstrations for dexterous robot manipulation. However, existing human-to-simulation-to-robot (Human2Sim2Robot) pipelines rely on predefined procedures that struggle to accommodate diverse object properties and interactions, particularly those involving articulated and deformable objects. We introduce DexAgent, an agentic Human2Sim2Robot framework that converts a single egocentric human video and a task prompt into physically grounded robot trajectories for policy training. It operates through four stages: semantic understanding of human videos, property-based simulation reconstruction, robot trajectory optimization, and robot data generation. At each stage, DexAgent adapts its approach to the task and object properties by selecting suitable skills from its tool library or developing new ones when needed. Property-specific verifiers assess stage outcomes for physical validity and task-specific requirements and provide feedback for refinement, preventing error propagation through the workflow. This adaptive, verification-guided process allows DexAgent to process diverse objects and long-horizon tasks. In the final stage, DexAgent varies object and robot states in simulation to generate diverse robot trajectories from a single human video, then retextures the rendered observations to facilitate sim-to-real transfer. Newly developed skills and verifiers are retained in its tool library, making it self-evolving to accumulate reusable capabilities. This reduces processing time as DexAgent encounters more human videos. Across eleven real-world tasks, policies trained with DexAgent-generated data achieve a 3.5x higher success rate than competing baselines. Project website: https://dexagent123.github.io/.