CrossBFM: Distilling a Shared Latent Behavior Space Across Humanoid Embodiments
作者: Tan-Dzung Do, Tuan Dat Phuong, Nico Bohlinger, Cuc T. Trinh, Siwei Ju, Vien Anh Ngo, Jan Peters, Xinchao Wang, An T. Le
分类: cs.RO
发布日期: 2026-09-29
备注: Project Website: https://dotandung.github.io/crossbfm/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出CrossBFM以解决人形机器人行为空间共享问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 行为基础模型 人形机器人 潜在空间 跨机器人泛化 统一编码器 动作跟踪 目标达成 深度学习
📋 核心要点
- 现有的行为基础模型在训练不同机器人时，产生的潜在空间无法共享，导致效率低下。
- CrossBFM通过统一编码器架构，消除了机器人特定参数，实现了行为空间的共享和转移。
- 实验结果显示，使用CrossBFM的机器人在动作跟踪和目标达成方面表现出色，性能损失极小。
📝 摘要（中文）
行为基础模型（BFMs）为人形机器人提供了在潜在行为空间中的可提示策略，使得单一向量能够表示模仿的动作、达到的姿势或最大化的奖励。现有的前向-后向表示法虽然能够成功生成这样的空间，但需要数百个GPU小时的训练时间，并且在为第二个机器人重复训练时，会产生与第一个无关的空间，导致特定于机器人身体的潜在空间无法统一或迁移。为了解决这些问题，本文提出了CrossBFM，将潜在空间视为可转移的资产，采用统一的编码器架构，无需特定于机器人的参数，从而在不到一个GPU小时的时间内同时蒸馏所有训练的机器人行为空间。实验表明，该方法在多个提示模式下均能有效转移，且在真实机器人上验证了其有效性。
🔬 方法详解
问题定义：本文旨在解决现有行为基础模型在不同人形机器人之间潜在空间无法共享的问题。现有方法在训练不同机器人时，需耗费大量计算资源，且产生的潜在空间无法迁移，导致效率低下。
核心思路：CrossBFM的核心思路是将潜在空间视为可转移的资产，通过统一的编码器架构来消除机器人特定参数，从而实现对多个机器人同时进行行为空间的蒸馏。
技术框架：整体架构包括一个统一的编码器和潜在条件跟踪器。编码器负责将不同机器人的行为空间蒸馏为共享的潜在空间，而潜在条件跟踪器则将蒸馏后的潜在空间转化为全身控制策略。
关键创新：最重要的技术创新在于提出了无机器人特定参数的统一编码器架构，使得不同机器人之间的行为空间可以有效共享，显著降低了训练时间。
关键设计：在设计上，编码器的训练仅需使用四分之一的运动数据集，且在不同机器人之间进行训练时，能够保持高达89%的跟踪性能，显示出跨身体相似机器人的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用CrossBFM的机器人在动作跟踪中与关节条件策略相比，仅损失0.025弧度的精度，并且在平滑目标达成中没有发生跌倒。此外，训练编码器时仅使用四分之一的数据集，仍能保持95%的跟踪性能，展示了该方法的高效性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人控制、自动化任务执行和人机交互等。通过实现行为空间的共享，CrossBFM能够显著提高不同机器人在相似任务中的协作能力和学习效率，推动机器人技术的广泛应用。
📄 摘要（原文）
Behavior Foundation Models (BFMs) give humanoids a promptable policy over a latent behavior space, enabling one single vector to represent a motion to imitate, a pose to reach, or a reward to maximize. Forward-Backward representations successfully produce such spaces, but at the cost of hundreds of GPU-hours for a single robot. Moreover, when the training process is repeated for a second robot, it produces a second space unrelated to the first, resulting in embodiment-specific latents that do not unify or transfer. We address these problems with CrossBFM, treating the latent space as the transferable asset for various embodiments. As retargeting provides frame-level cross-embodiment correspondence, we propose a unified encoder architecture with no robot-specific parameters for distilling the behavior space to address all training embodiments simultaneously in less than a GPU-hour. Following this encoder, latent-conditioned trackers turn the distilled latent into whole-body control in a conventional PPO training manner in just 10 more GPU-hours. On three distilled humanoids, all three prompting modes transfer: motion tracking with latent-conditioned policy losing only $0.025$ rad to its joint-conditioned counterpart, smooth goal reaching between poses with no falls, and reward optimization for all $41$ reward prompts. Our experiments further reveal that 1) regressing the encoder on a quarter of the motion corpus costs only $5\%$ of tracking performance and 2) training the encoder on a subset of robots and evaluating on an unseen one recovers up to $89\%$ of the tracking performance of seen robots, demonstrating cross-embodiment generalization to morphologically similar robots. We also verify the pipeline on real robots across all three prompting modes and with flow-based generated latents. Project website: https://dotandung.github.io/crossbfm/