Generate, Track, Improve: Perceptive Multi-Skill Humanoid Locomotion with RL-Fine-Tuned Motion Generators
作者: Zachary Olkin, William D. Compton, Aaron D. Ames
分类: cs.RO
发布日期: 2026-09-25
备注: 12 pages
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出双层运动控制架构以解决人形机器人多技能动态行走问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 人形机器人 强化学习 运动控制 多技能适应 动态环境 深度学习 轨迹规划
📋 核心要点
- 现有的人形机器人行走控制方法在多技能和动态环境适应性方面存在不足，难以实现复杂地形的有效穿越。
- 论文提出了一种双层运动控制架构，结合感知流匹配运动生成器和感知跟踪策略，通过强化学习进行优化，提升了机器人的运动能力。
- 实验结果表明，使用该方法后，机器人在复杂地形中的成功穿越率提高了25%，技能选择的准确率提升了80%，显示出显著的性能改进。
📝 摘要（中文）
通用人形机器人需要具备多技能、感知能力强、动态且稳健的行走控制器，以便在各种环境中自由移动。本文提出了一种双层行走架构：第一层是基于深度图像的感知流匹配运动生成器，规划全身轨迹；第二层是经过控制引导的强化学习训练的感知跟踪策略，跟随这些运动。两者均在动态优化的人类数据基础上训练，确保了准确的速度跟踪和地形一致性。核心贡献是一个简单有效的离线强化学习微调循环，显著提高了运动生成器的性能。实验结果显示，成功的地形穿越率提高了25个百分点，技能选择的准确率提升了80个百分点。
🔬 方法详解
问题定义：本研究旨在解决人形机器人在多样化地形中行走的挑战，现有方法往往缺乏足够的动态适应性和多技能支持，导致机器人在复杂环境中的表现不佳。
核心思路：提出一种双层运动控制架构，第一层为感知流匹配运动生成器，利用深度图像规划全身轨迹；第二层为感知跟踪策略，通过强化学习进行训练，以跟随生成的运动轨迹。
技术框架：整体架构包括两个主要模块：运动生成器和跟踪策略。运动生成器从原始深度图像中提取信息，生成适应地形的运动轨迹；跟踪策略则通过强化学习优化跟随这些轨迹的能力。
关键创新：引入了一种离线强化学习微调循环，利用优势加权回归收集数据，显著提高了样本效率，相较于现有的在线微调方法，能够更好地适应未见地形和技能组合。
关键设计：在训练过程中，采用动态优化的人类数据库作为参考，确保生成的运动轨迹在速度和地形一致性上具有高准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用该方法后，机器人在复杂地形中的成功穿越率提高了25个百分点，技能选择的准确率提升了80个百分点，表明该方法在实际应用中具有显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、救援机器人和户外探测机器人等，能够在复杂和动态的环境中实现高效的自主移动。其实际价值在于提升机器人在多样化场景下的适应能力，未来可能推动人形机器人在日常生活和工业领域的广泛应用。
📄 摘要（原文）
General purpose humanoids require locomotion controllers that are multi-skill, perceptive, dynamic, and robust enough to go anywhere humans can. In this work, we present a two layer locomotion architecture: (1) a perceptive flow matching motion generator plans whole body trajectories from raw depth images while a (2) perceptive tracking policy trained with control-guided RL follows these motions. Both policies are trained on a library of terrain consistent motion clips created with dynamically optimized human data which yields both accurate velocity tracking and terrain consistent references. Our central contribution is a simple yet effective off-policy RL fine tuning loop that improves the motion generator. A structured search method is used with the generator to gather data for advantage weighted regression. This off-policy loop is much more sample efficient than on-policy residual fine tuning and improves terrain consistency on unseen geometries and skill compositions. We find that successful terrain traversals increased by up to 25 percentage points and skill selection improved by up to 80 percentage points. By using raw depth images to perceive the environment no odometry or height maps are needed, and outdoor deployment is easy. With two cameras, the policy can see terrain coming from further away and adjust its velocity regardless of the commanded speed so it can traverse the terrain. A single policy pair enables a Unitree G1 humanoid to walk, run, stand, jump on and off of boxes, and traverse stairs in outdoor environments. Project page: https://zolkin1.github.io/generate-track-improve/