Hierarchical Residual Policy Learning for Real-World Mobile Manipulation with Sparse Human Guidance
作者: Zhefei Gong, Hefeifei Jiang, Zehao Wang, Jiachen Li
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-10-14
备注: Conference on Robot Learning (CoRL 2026); Project Website: https://hire-moma.github.io/
💡 一句话要点
提出HiRe-MoMa以解决真实世界移动操控中的稀疏人类指导问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 移动操控 分层残差学习 专家引导 样本效率 机器人微调
📋 核心要点
- 现有的移动操控方法在真实世界中面临高维动作空间和模块耦合的挑战，导致微调困难。
- 本文提出的HiRe-MoMa框架通过分层残差架构和专家引导价值对齐，提升了微调的稳定性和样本效率。
- 在TIAGo++平台上的实验表明，HiRe-MoMa在短时间内显著提升了任务性能，展示了其在动态环境中的应用潜力。
📝 摘要（中文）
移动操控（MoMa）是自主机器人系统的基石，但在真实世界中的微调仍然是一个巨大的挑战，主要由于高维动作空间和异构模块之间的复杂耦合。本文提出了HiRe-MoMa（分层残差移动操控），这是一个系统框架，用于稳定且样本高效的真实世界复杂MoMa系统微调。HiRe-MoMa的核心是采用分层残差架构，微调一个冻结的基础策略。无政策残差学习在基础策略之上学习附加修正，而分层解耦将残差分为移动底座和操控臂头，采用单向条件，减轻梯度干扰并使修正与平台的物理层次对齐。为了提高在数据稀缺的真实世界环境中的样本效率，我们提出了专家引导价值对齐，利用稀疏的人类干预（训练覆盖率低于20%）来重塑评论者的价值景观，有效引导自主探索。TIAGo++平台上的大量真实世界实验表明，HiRe-MoMa在仅约30分钟的在线交互中，始终提升任务性能，无论基础策略架构如何。
🔬 方法详解
问题定义：本文旨在解决真实世界移动操控系统微调中的高维动作空间和模块耦合问题，现有方法在这些方面表现不佳，导致效率低下和性能不稳定。
核心思路：HiRe-MoMa框架通过分层残差架构来微调冻结的基础策略，采用无政策残差学习来生成附加修正，并通过分层解耦来减少梯度干扰。
技术框架：该框架包括基础策略、无政策残差模块和分层解耦模块，后者将残差分为移动底座和操控臂头，确保修正与物理层次一致。
关键创新：HiRe-MoMa的创新在于其分层残差架构和专家引导价值对齐，前者有效减少了梯度干扰，后者通过稀疏人类干预提升了样本效率。
关键设计：在设计中，采用了单向条件来实现分层解耦，损失函数的设置也考虑了如何有效整合专家知识以优化价值函数。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HiRe-MoMa在TIAGo++平台上仅需约30分钟的在线交互时间，就能显著提升任务性能，超越了基线方法，展示了其在真实世界应用中的有效性和高效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过提高移动操控系统在真实环境中的微调效率，HiRe-MoMa为复杂机器人系统的部署提供了实用的范式，能够更好地适应动态和人本环境。未来，该框架可能推动更多自主机器人在实际应用中的普及与发展。
📄 摘要（原文）
Mobile Manipulation (MoMa) is a cornerstone of autonomous robotic systems, yet real-world fine-tuning remains a formidable challenge because of high-dimensional action spaces and intricate coupling between heterogeneous modules. In this paper, we propose HiRe-MoMa (Hierarchical Residual Mobile Manipulation), a systematic framework for stable and sample-efficient real-world fine-tuning of complex MoMa systems. At its core, HiRe-MoMa adopts a Hierarchical Residual Architecture that fine-tunes a frozen base policy. A Policy-Agnostic Residual learns additive corrections atop the base policy, while Hierarchical Decoupling splits the residual into mobile-base and manipulator-arm heads with unidirectional conditioning, mitigating gradient interference and aligning corrections with the platform's physical hierarchy. To improve sample efficiency in data-expensive real-world settings, we propose Expert-Guided Value Alignment, which leverages sparse human interventions with under 20% training coverage to reshape the critic's value landscape, effectively guiding autonomous exploration through expert priors. Extensive real-world experiments on the TIAGo++ platform demonstrate that HiRe-MoMa consistently enhances task performance with only around 30 minutes of online interaction, regardless of the base policy architecture. To our knowledge, this is among the first frameworks to enable efficient on-robot fine-tuning for mobile manipulation in the real world, providing a practical paradigm for deploying complex robotic systems in dynamic, human-centric environments. Further details can be found on our project website: https://hire-moma.github.io/