PartiGen: Part-Aware Representations for Language-Conditioned Humanoid Motion Generation
作者: Chuxuan Huang, Zhanxiang Cao, Tianyue Zhan, Haoyang Li, Yang Zhang, Liyun Yan, Chenlin Ming, Keqi Zhu, Yizhi Chen, Shengcheng Fu, Zihao Zhou, Xinyi Peng, Kaixuan Zhang, Boyang Xing, Jiawei Bao, Yang Yang, Yue Gao
分类: cs.RO
发布日期: 2026-10-09
💡 一句话要点
提出PartiGen以解决语言驱动的人形运动生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形运动生成 语言理解 部位感知 潜在扩散 运动学一致性
📋 核心要点
- 现有方法在将语言转换为人形运动时，难以有效协调身体部位和运动持续时间，导致生成的运动不够自然和稳定。
- PartiGen引入了一种部位感知的潜在扩散框架，通过解剖结构增强全身运动表示，利用特定部位的注意力机制处理运动生成。
- 在HumanML3D数据集上，PartiGen显著降低了FID和持续时间误差，并在机器人执行中取得了高达81.8%的成功率，展示了其有效性。
📝 摘要（中文）
将语言翻译为人形运动需要协调身体部位、确定运动持续时间，并生成适合机器人执行的参考。我们提出了PartiGen，这是一种关注部位的潜在扩散框架，将解剖结构融入共享的全身运动表示中。特定部位的注意力处理解剖遮罩的帧特征，其输出融合了局部肢体信息与全身上下文。模型在文本和运动历史的条件下自回归生成运动原语。前向运动学监督促进运动学一致性，而学习的序列结束预测器在生成后选择帧级端点。在针对Unitree G1的HumanML3D数据集上，PartiGen实现了3.165的段级FID，相较于TextOp减少了16.8%，并提高了R@1指标1.4个百分点。在16帧原语的持续时间研究中，端点预测将平均绝对持续时间误差从12.471减少到3.080帧。我们进一步使用预训练的GRIT跟踪器评估机器人执行：500个生成参考中有409个（81.8%）通过了MuJoCo的姿态稳定性筛选。经过模拟筛选和人工选择，27个尝试的动作中有26个被评判为成功。
🔬 方法详解
问题定义：本论文旨在解决将自然语言翻译为人形运动生成中的协调性和运动持续时间确定问题。现有方法在处理身体部位协调和生成自然运动方面存在不足，导致生成结果不够稳定和自然。
核心思路：PartiGen的核心思路是引入部位感知的潜在扩散框架，通过解剖结构的整合来增强全身运动表示。该方法利用特定部位的注意力机制，处理被解剖遮罩的帧特征，从而更好地结合局部肢体信息与全身上下文。
技术框架：PartiGen的整体架构包括多个模块：首先，输入的文本和运动历史作为条件，模型自回归生成运动原语；其次，特定部位的注意力机制处理解剖特征，最后通过前向运动学监督确保生成运动的运动学一致性。
关键创新：PartiGen的主要创新在于其部位感知的注意力机制和前向运动学监督的结合，这与现有方法的全局特征处理形成了显著区别，提升了生成运动的自然性和稳定性。
关键设计：在模型设计中，采用了特定的损失函数以确保运动学一致性，并通过学习的序列结束预测器选择合适的帧级端点。此外，模型的参数设置经过精心调整，以优化生成效果和稳定性。
🖼️ 关键图片
📊 实验亮点
在实验中，PartiGen在HumanML3D数据集上实现了3.165的段级FID，相较于TextOp减少了16.8%。在持续时间研究中，端点预测将平均绝对持续时间误差从12.471减少到3.080帧。此外，81.8%的生成参考在MuJoCo中通过了姿态稳定性筛选，显示出其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人、虚拟角色动画生成以及人机交互等。通过提高语言驱动的人形运动生成的自然性和稳定性，PartiGen可以在娱乐、教育和服务机器人等多个领域发挥重要作用，推动人形机器人技术的发展。
📄 摘要（原文）
Translating language into humanoid motion requires coordinating body parts, determining motion duration, and producing references suitable for robot execution. We introduce PartiGen, a part-aware latent diffusion framework that incorporates anatomical structure into a shared whole-body motion representation. Part-specific attention processes anatomically masked frame features, and its outputs are fused to combine local limb information with whole-body context. Conditioned on text and motion history, the model generates motion primitives autoregressively. Forward-kinematics supervision encourages kinematic consistency, while a learned end-of-sequence predictor selects a frame-level endpoint after generation. On HumanML3D retargeted to the Unitree G1, PartiGen achieves a segment-level FID of 3.165, a 16.8% reduction over TextOp, and improves R@1 by 1.4 percentage points. In the duration study with 16-frame primitives, endpoint prediction reduces mean absolute duration error from 12.471 to 3.080 frames compared with a fixed-length cutoff. We further evaluate robot execution using a pretrained, frozen GRIT tracker: 409 of 500 generated references (81.8%) pass the posture-based stability screen in MuJoCo. Following simulation screening and manual selection, 26 of 27 attempted motions are judged successful on the real G1.