HuGo: LLMs as Whole-Body Policy Code Designers for Humanoid Loco-Manipulation
作者: Seoyeon Choi, Shizhao Ye, Nicholas Bui, Aayushi Shrivastava, Kanghyun Ryu, Dhruva Tirumala, Markus Wulfmeier, Negar Mehr
分类: cs.RO
发布日期: 2026-09-24
💡 一句话要点
提出HuGo以解决人形机器人运动与操作任务的复杂性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 运动与操作 策略生成 大型语言模型 零-shot迁移 强化学习 示范学习
📋 核心要点
- 现有方法在处理人形机器人运动与操作任务时，通常需要特定的奖励设计和示范收集，导致扩展新任务的成本高昂。
- 本文提出的HuGo方法利用大型语言模型生成高层策略代码，从而消除对每个任务的特定要求，简化了任务执行过程。
- 实验结果表明，HuGo在五个仿真任务中显著超越高层强化学习基线，且在真实世界中实现了有效的策略迁移。
📝 摘要（中文）
为了使人形机器人在日常环境中更具实用性，它们必须执行多种结合运动和操作的任务。现有方法通常通过奖励工程或示范后进行特定任务训练，导致在扩展新任务时成本高昂。本文提出了一种分层方法HuGo，利用大型语言模型（LLM）从任务描述生成可执行的高层策略代码，消除了对每个任务的特定要求。HuGo在五个仿真任务中表现优异，超越了高层强化学习基线，并接近基于示范的基线性能，且无需任务特定的奖励设计或示范收集。我们还展示了仿真生成策略的零-shot迁移到硬件的能力，并通过在真实世界的回放中应用相同的优化循环进一步提升了迁移性能。
🔬 方法详解
问题定义：本文旨在解决人形机器人在复杂环境中执行运动与操作任务时的策略生成问题。现有方法依赖于特定的奖励设计和示范收集，导致在新任务上扩展困难且成本高昂。
核心思路：HuGo通过利用大型语言模型（LLM）从任务描述生成高层策略代码，结合低层全身策略，消除了对每个任务的特定要求。这一设计使得机器人能够更灵活地应对多样化的任务。
技术框架：HuGo的整体架构包括三个主要模块：任务描述输入、LLM生成的高层策略代码和基于回放的策略优化。首先，系统接收任务、观察和指令规格，然后LLM生成相应的任务逻辑代码，最后通过数值轨迹和视频帧优化生成的策略。
关键创新：HuGo的核心创新在于将大型语言模型应用于策略代码生成，显著降低了任务特定设计的需求。这一方法与传统的强化学习和示范学习方法有本质区别，后者通常需要大量的任务特定数据。
关键设计：在HuGo中，LLM的训练和优化过程采用了特定的损失函数，以确保生成的代码能够有效执行。同时，策略优化过程通过回放数据进行反馈，进一步提升了策略的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HuGo在五个仿真任务中显著超越了高层强化学习基线，性能接近基于示范的基线，且在不进行任务特定奖励设计或示范收集的情况下实现了这一成果。此外，HuGo展示了仿真生成策略的零-shot迁移到硬件的能力，进一步提升了实际应用中的表现。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、家庭自动化、工业机器人等，能够显著提升人形机器人在复杂环境中的自主性和适应能力。未来，HuGo可能推动机器人技术的广泛应用，降低开发新任务的门槛。
📄 摘要（原文）
For humanoids to be useful in everyday environments, they must perform a wide range of tasks that couple locomotion and manipulation. Existing approaches commonly acquire a loco-manipulation policy through reward engineering or demonstrations followed by task-specific training, making it costly to scale to new tasks. In this work, we propose a hierarchical approach to humanoid loco-manipulation that eliminates these per-task requirements. HuGo, Humanoid policy code Generation, uses a Large Language Model (LLM) to generate executable, closed-loop high-level policy code from a task description on top of a frozen low-level whole-body policy. Given the task, observation, and command specifications, the LLM constructs the task logic in code. HuGo then refines the policy from its rollouts using numerical trajectories and selected video frames to produce feedback and targeted code updates. Across five simulation tasks, using two different low-level policies, HuGo substantially outperforms a high-level reinforcement learning baseline and approaches the performance of a demonstration-based baseline. We achieve this level of performance without task-specific reward design or demonstration collection. We further demonstrate zero-shot transfer of simulation-generated policies to hardware and show that applying the same refinement loop to real-world rollouts can further improve transfer performance without expert demonstrations or policy retraining. Project website is https://iconlab.negarmehr.com/HuGo/