JARVIS: From Visual Manuals to Autonomous Robotic Assembly
作者: Fan Ding, Fucai Ke, Kevin Yuchen Ma, Xuewen Luo, Wenyu Liang, Vishnu Monn Baskaran, Hamid Rezatofighi, Yan Wu
分类: cs.RO
发布日期: 2026-10-20
💡 一句话要点
提出JARVIS以解决机器人自主组装中的视觉手册执行问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人组装 视觉手册 自主执行 多模态学习 结构感知 任务导向原语 执行反馈 评估协议
📋 核心要点
- 现有方法在将视觉手册转化为可靠的机器人执行时面临挑战，尤其是在长时间的组装任务中。
- JARVIS提供了一种方法无关的基准，允许机器人在没有语言指令的情况下执行视觉手册指导的任务。
- 实验结果表明，任务导向的原语提高了平均组装分数，但随着组装范围的增加，性能显著下降。
📝 摘要（中文）
视觉手册通过逐步图示传达程序知识，但将这些指令转化为可靠的长时间机器人执行仍然具有挑战性。我们提出了JARVIS，这是一个方法无关的基准，用于自主视觉手册指导的执行，无需额外的语言指令。JARVIS包含236,679个LEGO组装任务，跨越8,987个场景，并精心策划了50个任务的JARVIS-v1套件用于互动机器人评估。任务涵盖不同的初始结构复杂性和组装范围，要求代理解释手册、在不断变化的工作空间中确定动作，并执行预期程序。我们还引入了JARVIS-agentic，一个基于工具的具身代理，能够将机器人原语组合成可执行程序，并利用执行反馈进行验证和恢复，而无需特定任务的动作轨迹或模型参数更新。
🔬 方法详解
问题定义：本论文旨在解决如何将视觉手册中的程序知识有效转化为机器人自主执行的具体问题。现有方法在长时间执行和复杂任务中存在显著的执行错误和不可靠性。
核心思路：论文提出JARVIS基准，允许机器人在没有语言指令的情况下，通过视觉手册进行自主组装。通过设计一个结构感知的评估协议，捕捉几何准确性和结构关系，提升任务执行的可靠性。
技术框架：JARVIS的整体架构包括任务生成、执行反馈和评估三个主要模块。任务生成模块创建多样化的LEGO组装任务，执行反馈模块用于验证和恢复，评估模块则通过结构感知协议进行性能评估。
关键创新：最重要的技术创新在于引入了JARVIS-agentic，一个能够将机器人原语组合成可执行程序的工具基础代理。这一设计使得机器人能够在没有特定任务轨迹的情况下进行自主执行。
关键设计：在设计中，采用了结构感知的评估协议，关注几何准确性、结构关系和构建顺序等关键参数，确保机器人在执行过程中能够实时调整和优化其动作。
🖼️ 关键图片
📊 实验亮点
实验结果显示，任务导向的原语显著提高了平均组装分数，但随着组装范围的增加，性能下降幅度明显。尽管先前任务经验有助于提升初始表现，但重复反思的效果不稳定，表明在视觉程序推理与可靠物理执行之间仍存在连接的局限性。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能家居和教育机器人等。通过提高机器人在复杂组装任务中的自主执行能力，JARVIS有望在未来推动机器人技术的广泛应用，提升生产效率和用户体验。
📄 摘要（原文）
Visual manuals communicate procedural knowledge through stepwise diagrams, but translating these instructions into reliable long-horizon robotic execution remains challenging. We introduce JARVIS, a method-agnostic benchmark for autonomous visual-manual-guided execution without additional language instructions. JARVIS comprises 236,679 LEGO assembly tasks across 8,987 scenes, with a carefully curated JARVIS-v1 suite of 50 tasks for interactive robotic evaluation. Tasks span varying initial structural complexities and assembly horizons, requiring agents to interpret manuals, ground actions in an evolving workspace, and execute the intended procedure. A structure-aware evaluation protocol captures geometric accuracy, structural relations, construction order, partial progress, and completion. We further introduce JARVIS-agentic, a tool-grounded embodied agent that composes robot primitives into executable programs and uses execution feedback for verification and recovery, without task-specific action trajectories or model parameter updates. Across nine multimodal and reasoning models, task-oriented primitives increase the average assembly score. Performance nevertheless declines sharply with assembly horizon, and execution errors remain difficult to correct. Prior-task experience improves initial performance, while repeated reflection provides inconsistent benefits, highlighting persistent limitations in connecting visual procedural reasoning with reliable physical execution.