VioLA: Learning Generalist Humanoid Control Policies from Human Data
作者: Mert Albaba, Jens Beißwenger, Anna Manasyan, Daniel Marta, Michael J. Black, Wieland Brendel, Andreas Krause, Georg Martius, Martin Riedmiller
分类: cs.RO, cs.LG
发布日期: 2026-10-08
💡 一句话要点
提出VioLA以解决人形机器人控制策略学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 控制策略 人类示范 运动潜变量 零-shot学习 机器人学习 动作空间 预训练模型
📋 核心要点
- 现有的人形机器人控制策略面临动作空间大且紧密耦合的问题，导致关节级动作难以学习。
- VioLA通过预测身体和手部运动潜变量，利用预训练的控制器来执行这些潜变量，从而简化了学习过程。
- 实验结果显示，VioLA在真实机器人上零-shot执行行走任务成功率达到100%，操作任务成功率为88.6%，显著优于现有基线。
📝 摘要（中文）
本论文提出了一种名为VioLA的通用人形机器人控制策略，通过预测身体和手部运动潜变量而非关节命令，克服了人形机器人在执行指令时面临的动作空间大和人类示范稀缺的挑战。VioLA利用140.6百万帧的训练数据，其中93.2%为人类示范，实现了在真实机器人上零-shot执行行走和操作任务，分别达到100%和88.6%的成功率，显著优于现有方法。该方法的核心在于将人类运动映射到机器人运动的潜在空间，从而实现更高效的学习和执行。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在执行指令时的控制策略学习问题。现有方法依赖于稀缺的人类示范，且动作空间复杂，导致关节级动作难以有效学习。
核心思路：VioLA的核心思路是预测身体和手部运动的潜变量，而非直接控制关节命令。这种设计使得机器人能够更好地理解和执行人类的运动指令。
技术框架：VioLA的整体架构包括运动编码器和预训练的身体与手部控制器。运动编码器将人类和机器人运动映射到相同的潜在空间，控制器则执行这些潜变量。
关键创新：VioLA的主要创新在于将人类示范直接映射到机器人控制策略的潜在空间，解决了传统方法中示范稀缺和动作耦合的问题。
关键设计：在设计中，VioLA使用了140.6百万帧的训练数据，93.2%为人类示范，采用了特定的损失函数和网络结构，以优化潜变量的学习和执行效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VioLA在真实机器人上零-shot执行行走任务的成功率达到100%，而现有方法GR00T N1.7和Ψ_0的成功率仅为16.7%和0%。在操作任务中，VioLA的成功率为88.6%，显示出显著的性能提升。
🎯 应用场景
VioLA的研究成果在机器人领域具有广泛的应用潜力，尤其是在服务机器人、工业自动化和人机协作等场景中。通过提高机器人对人类指令的理解和执行能力，VioLA能够促进人形机器人在复杂环境中的自主操作，提升其实际应用价值和效率。
📄 摘要（原文）
Teaching a humanoid to follow instructions with its whole body runs into two obstacles. Its action space is large and tightly coupled: legs, arms, and fingers must move together while the robot keeps its balance, which makes joint-level actions hard to learn. And humanoid demonstrations are scarce, so current humanoid generalist policies do not follow new instructions out of the box and are fine-tuned on teleoperated demonstrations of each task before deployment. Human demonstrations exist in far larger numbers, but a person's motion is not a robot command. We remove both obstacles by changing what the generalist policy predicts. We introduce VioLA, a generalist humanoid policy that predicts body and hand motion latents instead of joint commands. A pretrained body- and hand-controller execute these latents on the robot. Their corresponding motion encoders map human and robot motion into the same latent spaces. A human recording is therefore labeled in the policy's action space, and the training demonstration pool contains 140.6 million frames, 93.2% of them human. As a result, VioLA follows locomotion instructions on the real robot zero-shot, without task-specific fine-tuning, reaching 100% success where GR00T N1.7 and $Ψ_0$ reach 16.7% and 0%, respectively. It also reaches 88.6% manipulation success without task-specific fine-tuning. The same approach works across two VLA and one world-action model backbones. A generalist policy trained on human demonstrations alone performs locomotion tasks on the real robot zero-shot. Code and checkpoints will be released.