Learning Expressive and Compositional Motion Representation via Spectral Skills
作者: Feiyang Wu, Chenxiao Gao, Chen Yang, Ye Zhao, Bo Dai, Anqi Wu
分类: cs.RO, cs.LG
发布日期: 2026-09-29
💡 一句话要点
提出光谱技能以解决人形机器人控制中的行为组合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 运动控制 行为组合 预测学习 光谱技能 机器人基础模型 智能控制
📋 核心要点
- 现有的人形机器人控制方法在行为组合和预测准确性方面存在不足，难以实现复杂的运动控制。
- 本文提出的光谱技能通过预测后续运动来学习短运动片段，提供了一种新的潜在表示接口，支持行为组合。
- 实验结果表明，基于光谱技能的控制器在全球跟踪误差上相较于现有技术降低了62%，展示了其优越性。
📝 摘要（中文）
机器人基础模型为通用人形机器人控制提供了有前景的路径，通常通过分层架构实现。然而，其有效性依赖于规划器与控制器之间的命令接口，该接口必须支持准确执行，同时易于预测，并理想地允许从先前行为中组合新行为。本文提出光谱技能，这是一种潜在的接口表示，通过预测表示学习满足这些要求。光谱技能紧凑地编码短运动片段，通过预测后续运动而非重建编码器输入进行学习。在一个29自由度的人形机器人上，基于光谱技能的控制器将全球跟踪误差相较于现有技术降低了62%。同样的冻结控制器在没有单独过渡策略的情况下独立链式编码技能，并通过向任何兼容的基础技能添加正交方向来组合新行为，产生训练数据中未见的组合。我们在Unitree G1硬件上展示了跟踪、链式和组合控制，以及通过语言条件规划器的控制。
🔬 方法详解
问题定义：本文旨在解决人形机器人控制中行为组合和预测准确性不足的问题。现有方法在复杂运动控制时常常面临挑战，难以实现灵活的行为组合。
核心思路：论文提出光谱技能作为一种潜在的接口表示，通过预测后续运动而非重建输入，紧凑地编码短运动片段，旨在提高控制器的预测能力和行为组合能力。
技术框架：整体架构包括一个基于光谱技能的控制器，该控制器通过学习短运动片段的预测来实现运动控制。主要模块包括运动片段编码、行为组合和控制器执行。
关键创新：最重要的技术创新在于光谱技能的引入，它通过预测后续运动来学习运动片段，显著提高了行为组合的灵活性和准确性，与现有方法相比具有本质区别。
关键设计：在设计中，采用了特定的损失函数以优化预测精度，并通过正交方向的添加实现行为组合，确保控制器能够在没有额外过渡策略的情况下独立工作。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于光谱技能的控制器在全球跟踪误差上相较于现有技术降低了62%。此外，该控制器能够独立链式编码技能，并通过添加正交方向组合新行为，展示了其在行为组合上的强大能力。
🎯 应用场景
该研究的潜在应用领域包括人形机器人控制、智能家居自动化和服务机器人等。通过提高机器人在复杂环境中的运动控制能力，能够实现更灵活的交互和任务执行，未来可能在家庭、医疗和工业等多个领域产生深远影响。
📄 摘要（原文）
Robotic foundation models offer a promising path toward general-purpose humanoid robot control, often through hierarchical architectures. However, their effectiveness depends on the command interface between the planner and the controller, which must support accurate execution while remaining easy to predict, and ideally allow new behaviors to be composed from prior ones. In this work, we introduce spectral skills, a latent representation of this interface that meets these requirements through predictive representation learning. By design, spectral skills compactly encode short motion segments and are learned by predicting subsequent motion rather than reconstructing the encoder input. On a 29-DoF humanoid, a controller conditioned on spectral skills reduces global tracking error by 62\% relative to the state of the art. The same frozen controller chains independently encoded skills without a separate transition policy. It also composes new behaviors by adding orthogonal directions to any compatible base skill, producing combinations unseen in the training data. We demonstrate tracking, chaining, and composition, as well as control through a language-conditioned planner, on Unitree G1 hardware. Project page: https://spectral-skill.github.io