InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation
作者: Zhuo Lin, Sirui Xu, Liuyu Bian, Yu-Xiong Wang, Liang-Yan Gui
分类: cs.RO, cs.CV, cs.GR
发布日期: 2026-10-01
备注: Project page: https://sirui-xu.github.io/InterEvolve
💡 一句话要点
提出InterEvolve以解决人形机器人在测试时任务演化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 任务演化 奖励程序 行为模型 大型语言模型 自主导航 复杂场景
📋 核心要点
- 现有方法在未训练任务的解决能力上存在不足，无法有效利用已有的控制器技能。
- 论文提出通过对象感知的行为模型和奖励程序的结合，实现在测试时的任务演化，提升控制器的适应性。
- 实验结果显示，InterEvolve在多种任务中表现优异，能够自主运行并在复杂场景中展现出新的策略。
📝 摘要（中文）
本研究探讨了人形机器人在测试时的任务演化问题，即通过重新利用现有技能、从自身尝试中改进并保留所学，而无需重新训练，来解决未曾训练过的任务。我们的关键见解在于，广泛的控制器已经具备新任务所需的许多能力，这些能力通过规划与控制之间的接口变得可访问。InterEvolve通过两个组件实现这一接口：首先，开发了一个对象感知的前向-后向行为基础模型；其次，将任务指定为奖励程序，利用大型语言模型（LLM）代理在上下文中修订程序结构。实验表明，InterEvolve能够释放FB模型的潜力，并在多样化任务和复杂场景中表现出色。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在测试时面对未训练任务的能力不足问题。现有方法往往无法有效利用控制器已有的技能，导致任务执行效率低下。
核心思路：论文的核心思路是通过构建一个表达能力强的接口，将规划与控制结合起来，使得控制器能够在测试时根据反馈不断调整和优化其行为。
技术框架：整体架构包括两个主要模块：对象感知的前向-后向行为基础模型和奖励程序。前者负责将新的奖励转化为行为，后者则定义任务的阶段性奖励和条件。
关键创新：最重要的技术创新在于通过大型语言模型（LLM）动态修订奖励程序结构，并利用数值优化器调整参数，使得控制器能够在多次迭代中不断改进其表现。与现有方法相比，InterEvolve能够更有效地释放控制器的潜力。
关键设计：在设计中，奖励程序的结构可调，包含完成条件和可调常数，FB模型的对象残差在固定的身体先验上进行操作，确保了行为生成的灵活性和有效性。实验中验证了不同场景下的程序候选，确保了其在多样化任务中的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，InterEvolve在多种复杂任务中表现优异，相较于人类设计的奖励，能够更有效地释放FB模型的潜力，提升了任务完成率和效率，展示了新的策略和行为生成能力。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在复杂环境中的自主导航与操作，如家庭服务、工业自动化和救援任务等。通过提升机器人在未训练任务中的适应能力，未来可能实现更广泛的智能机器人应用，提升人机协作效率。
📄 摘要（原文）
We study test-time evolution for humanoid loco-manipulation: solving tasks that a controller was never trained for by repurposing its existing skills, improving from its own attempts, and retaining what it learns, without retraining. Our key insight is that a broad controller already holds much of the competence a new task needs, and that this competence becomes accessible through an interface between planning and control that is expressive enough to specify contact-rich, multi-stage interactions, yet executable and measurable enough that execution feedback can guide planning from experience. InterEvolve realizes this interface with two components. First, we develop an object-aware forward-backward (FB) behavioral foundation model, whose object residuals on a frozen body prior turn a new reward about the body or objects into loco-manipulation behavior at test time. Second, we specify tasks as reward programs: staged rewards with completion conditions and tunable constants. A large language model (LLM) agent revises the program structure in context, drawing on execution feedback and a skill library of verified programs, while a numerical optimizer tunes its constants. With every candidate verified across parallel simulation scenarios, the program explores new ways to induce, repurpose, and compose the controller's existing motor competence for the task at hand, and thus improves over iterations. Experiments show that human-designed rewards leave much of the FB model's loco-manipulation competence untapped, whereas the programs InterEvolve evolves release it, sometimes through novel strategies. It further produces behaviors for diverse tasks, complex scenes, and long-horizon compositions in simulation, and evolved skills run autonomously on a physical Unitree G1 from egocentric onboard perception.