Modeling and Understanding Neural Weights of Humanoid Policies with Diffusion
作者: Huixuan Cheng, Bike Zhang, Shankar Sastry, Koushil Sreenath
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-10-14
备注: Project page: https://humanoid-weight-diffusion.github.io/
💡 一句话要点
提出基于扩散模型的类人政策神经权重建模方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 类人控制 扩散模型 自编码器 机器人学习 强化学习 动作生成 权重建模
📋 核心要点
- 现有的类人控制网络主要依赖传统训练方法，缺乏对学习权重分布的直接建模。
- 本文提出了一种潜在扩散框架，结合自编码器和扩散变换器，直接在权重空间中生成控制网络。
- 通过在Unitree G1机器人上进行实验，生成的网络能够实现多种复杂动作，展示了该方法的有效性。
📝 摘要（中文）
近年来，机器人学习的进展推动了类人控制的快速发展，使得机器人在现实世界中能够实现更灵活的行为。然而，现有的类人控制网络通常通过传统训练程序获得，较少关注直接建模其学习权重的分布并在权重空间中生成功能性网络。本文探讨了能否通过权重直接生成高性能的类人控制网络，采用了将线性自编码器与扩散变换器相结合的潜在扩散框架。该方法在Unitree G1机器人的强化学习网络上进行训练，生成可部署的网络，能够执行多种现实世界中的动作，包括行走、舞蹈和旋转踢。此外，本文还研究了学习到的权重空间，以更好地理解这些类人控制网络所捕获的结构。
🔬 方法详解
问题定义：本文旨在解决现有类人控制网络训练过程中对学习权重分布建模不足的问题。传统方法通常依赖于固定的训练流程，未能充分利用权重空间的信息。
核心思路：论文的核心思路是通过潜在扩散框架，结合线性自编码器与扩散变换器，直接在权重空间中生成高性能的类人控制网络。这种设计能够有效捕捉权重的分布特征。
技术框架：整体架构包括两个主要模块：首先，线性自编码器将演员网络的参数压缩到一个紧凑的潜在空间；其次，扩散变换器用于建模这些潜在变量的分布。
关键创新：最重要的技术创新在于将扩散模型应用于类人控制网络的权重空间建模，这与传统的训练方法形成了鲜明对比，能够更好地理解和生成控制策略。
关键设计：在网络结构上，采用了线性自编码器以减少参数维度，并设计了适应性损失函数以优化扩散变换器的训练过程。这些设计使得生成的网络在执行复杂动作时表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法能够生成多种可部署的类人控制网络，成功实现行走、舞蹈和旋转踢等动作。这些网络在性能上优于传统方法，展示了显著的灵活性和适应性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能制造和人机交互等。通过更好地理解和生成类人控制策略，能够提升机器人在复杂环境中的适应能力和灵活性，推动智能机器人技术的发展。
📄 摘要（原文）
Recent advances in robot learning have driven rapid progress in humanoid control, enabling increasingly agile behaviors in the real world. However, humanoid control networks are typically obtained through conventional training procedures, while comparatively little attention has been given to directly modeling the distribution of their learned weights and generating functional networks in weight space. In this work, we investigate whether high-performing humanoid control networks can be generatively modeled directly through their weights. We adopt a latent diffusion framework that couples a linear autoencoder with a Diffusion Transformer. The autoencoder compresses actor network parameters into a compact latent space, and the Diffusion Transformer models the distribution of these latents. Trained on networks collected from reinforcement learning for the Unitree G1 robot, our approach generates deployable networks that perform various motions in the real world, including walking, dancing, and spin kick. Beyond generation, we further study the learned weight space to better understand the structure captured by these humanoid control networks. We identify a structural principle in the first-layer weights that consistently reflects the robot's kinematic prior. Notably, this kinematic prior emerges under both Reinforcement Learning (RL) and Imitation Learning (IL) training, suggesting that it is not specific to a particular optimization process but may instead reflect common knowledge associated with humanoid embodiment. Together, these results demonstrate the feasibility of generative modeling in humanoid network weight space, while providing initial insights into the information encoded by their learned weights. Additional results are available on our project website: https://humanoid-weight-diffusion.github.io/