MimicAgent: Quadruped Skills via Prompt-to-Trajectory Generation

📄 arXiv: 2609.24145v1 📥 PDF

作者: Lucky Kant Nayak, Narayanan Palghat Parameswaran, Neehar Peri, Deva Ramanan

分类: cs.RO

发布日期: 2026-09-21

备注: Project Page: https://luckykantnayak.github.io/mimic-agent/

💡 一句话要点

提出MimicAgent以解决四足机器人技能学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四足机器人 技能学习 轨迹生成 强化学习 提示机制 运动捕捉 人机交互

📋 核心要点

  1. 现有方法在训练四足机器人时面临奖励塑造的困难，导致学习效率低下。
  2. MimicAgent通过提示生成四足机器人的参考轨迹，简化了技能学习过程。
  3. 实验表明，87%的提示生成了语义一致的参考轨迹，显著提升了学习效果。

📝 摘要（中文）

我们提出了MimicAgent，一个用于学习动态四足技能的提示到轨迹生成框架。尽管在训练四足政策时广泛使用奖励塑造，但导航奖励景观极具挑战性，通常需要耗费大量时间。Eureka尝试使用大型语言模型（LLMs）自动化奖励设计，但在多样技能和形态上泛化能力不足。我们的观察是，生成参考运动比塑造奖励函数更为简单。基于这一假设，我们提出MimicAgent，能够根据技能提示生成四足参考轨迹，并利用这些轨迹训练可在模拟和现实中部署的示例引导强化学习政策。值得注意的是，当在我们的代理框架中提示Claude Fable 5.1时，87%的提示生成了语义一致的参考轨迹。

🔬 方法详解

问题定义：本论文旨在解决四足机器人技能学习中的奖励塑造困难，现有方法在多样性和泛化能力上存在不足，导致训练效率低下。

核心思路：MimicAgent的核心思路是通过提示生成参考轨迹，利用这些轨迹来指导强化学习，从而避免复杂的奖励设计过程。

技术框架：MimicAgent的整体架构包括技能提示输入、参考轨迹生成模块和示例引导强化学习模块。首先，输入技能提示，生成粗略的参考轨迹，然后利用这些轨迹训练强化学习政策。

关键创新：MimicAgent的主要创新在于引入了提示到轨迹生成的机制，使得四足机器人能够在缺乏运动捕捉数据的情况下进行有效学习，这与传统的基于奖励的学习方法本质上不同。

关键设计：在设计中，MimicAgent使用了Claude Fable 5.1作为生成模型，确保生成的轨迹与提示语义一致，且在参数设置上进行了优化，以提高生成轨迹的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MimicAgent在使用Claude Fable 5.1时，87%的提示生成了语义一致的参考轨迹，显著提高了四足机器人技能学习的效率和效果，展示了其在实际应用中的潜力。

🎯 应用场景

MimicAgent的研究成果可广泛应用于机器人领域，尤其是在四足机器人自主导航、运动控制和人机交互等场景中。其生成的参考轨迹可以用于提升机器人在复杂环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present MimicAgent, a prompt-to-trajectory generation framework for learning dynamic quadruped skills. Although reward shaping is extensively used when training quadruped policies, navigating the resulting reward landscape is notoriously difficult, requiring hours of "graduate student descent". Eureka attempts to automate reward design with LLMs, but we find that it struggles to generalize across diverse skills and morphologies. Our key observation is that it is far easier for a human - and by association, an LLM - to generate reference motions than to shape reward functions. Our hypothesis is motivated by the success of example-guided RL for humanoids, which exploits large-scale motion capture datasets as references for training locomotion policies. Unlike humanoids, quadrupeds lack such reference motion data. Towards this end, we propose MimicAgent, an agentic harness that, given a skill prompt, generates quadruped reference trajectories with coding agents. These coarse reference trajectories are then used to train example-guided RL policies that are deployable in simulation and in the real-world. Notably, we find that when prompting Claude Fable 5.1 within our agentic harness, 87% of prompts yield semantically aligned reference trajectories.