Cracking Mobile Manipulation: From Failure Diagnosis to Agentic Robot System
作者: Zixuan Wang, Jia-Ning Li, Yinzhou Tang, Yanzhao Yu, Biao Wu, Meng Fang, Xin Li, Yiwu Zhong
分类: cs.RO
发布日期: 2026-10-14
🔗 代码/项目: GITHUB
💡 一句话要点
提出故障诊断与干预以提升移动操作机器人系统的成功率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动操作 故障诊断 机器人系统 视觉-语言-动作 自适应调整 任务规划 导航 局部操作
📋 核心要点
- 现有的视觉-语言-动作模型在局部操作中表现良好，但在长时间移动操作中成功率低，存在明显的性能差距。
- 论文提出通过故障诊断识别移动操作中的瓶颈，并设计故障引导的干预策略来提升系统性能。
- 实验结果显示，经过干预的系统在多个任务上成功率显著提高，证明了该方法的有效性和实用性。
📝 摘要（中文）
近年来，视觉-语言-动作（VLA）模型在局部机器人操作上表现出色，但在长时间移动操作中却未能取得同样的成功。实验表明，预训练的子任务VLA在原子操作任务中成功率为80%，而在移动操作中仅为19%。我们认为，这一差距源于执行过程中的失败，而不仅仅是局部操作能力的不足。通过系统性地诊断长时间移动操作中的失败，我们识别出三个主要瓶颈：任务规划、导航与基座定位，以及局部操作。基于此诊断，我们开发了故障引导的自主干预方法，增强了固定子任务VLA的演示基础规划指导、自适应视觉记忆、可达性感知的基座调整和局部末端执行器调整。在RoboCasa365上，这些干预措施将任务成功率从19%逐步提升至47%，最终系统在保留的实验种子上达到49%的成功率，相比基线的18%有显著提升。
🔬 方法详解
问题定义：本论文旨在解决长时间移动操作中机器人系统的低成功率问题。现有方法在局部操作上表现良好，但在复杂的移动操作中却遭遇多重失败，导致整体性能不佳。
核心思路：论文的核心思路是通过系统性故障诊断识别移动操作中的关键瓶颈，并针对这些瓶颈设计干预措施，以增强现有的子任务VLA模型的性能。
技术框架：整体架构包括任务规划、导航与基座定位、局部操作三个主要模块。通过故障引导的干预，系统能够在每个阶段进行自适应调整，从而提高整体任务成功率。
关键创新：最重要的技术创新在于故障引导的干预策略，它通过结合演示基础的规划指导和自适应视觉记忆，显著提升了机器人在复杂环境中的操作能力。这与传统方法的单一策略形成鲜明对比。
关键设计：关键设计包括自适应视觉记忆模块的实现、可达性感知的基座调整策略，以及局部末端执行器的动态调整。这些设计确保了机器人在执行任务时能够更好地适应环境变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过故障引导干预的系统在RoboCasa365任务上成功率从19%提升至49%，在BEHAVIOR-1K任务上从14%提升至37%，在真实机器人任务中从5/20提升至13/20，显著优于基线性能。
🎯 应用场景
该研究的潜在应用领域包括家庭服务机器人、工业自动化和救援机器人等。通过提升移动操作的可靠性，研究成果能够在实际场景中提供更高效的服务，推动机器人技术的广泛应用与发展。
📄 摘要（原文）
Recent vision-language-action (VLA) models have shown strong performance on local robot manipulation, yet their success does not readily translate to long-horizon mobile manipulation. In our experiments, a pretrained subtask VLA achieves 80% success rate on atomic manipulation tasks but only 19% when these skills are composed into mobile manipulation. We argue that this gap stems from failures across the execution process rather than from local manipulation capability alone. To uncover these bottlenecks, we systematically diagnose failures in long-horizon mobile manipulation and identify three dominant regimes: task planning, navigation and base positioning, and local manipulation. Based on this diagnosis, we develop failure-guided agentic intervention that augments a fixed subtask VLA with demonstration-based planning guidance, adaptive visual memory, accessibility-aware base adjustment, and local end-effector adjustment. On RoboCasa365, these interventions progressively improve task success from 19% to 47%, with the finalized system reaching 49% on held-out episode seeds, compared with 18% for the baseline. The same design improves performance from 14% to 37% on BEHAVIOR-1K and from 5/20 to 13/20 on real-robot tasks. These results suggest that reliable mobile manipulation can be advanced by diagnosing and intervening on the current bottleneck, rather than uniformly scaling the underlying policy. Our code will be released at https://github.com/PKU-VaLuE-Lab/Cracking-Mobile-Manipulation.git.