TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control
作者: Wei-Jin Huang, Yuan-Ming Li, Kun-Yu Lin, Wang Luo, Yinlin Zhu, Yue Yu, Shenghao Ye, Junbin Yuan, Fa-Ting Hong, Qing Zhang, Wei-Shi Zheng
分类: cs.AI
发布日期: 2026-10-02
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出TACD以解决文本到运动模型的效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本到运动 运动生成 知识蒸馏 高效模型 多模态生成
📋 核心要点
- 现有文本到运动模型在多步骤去噪和大模型组件方面存在效率低下的问题，导致部署缓慢和内存占用高。
- 本文提出的TACD方法通过终端放大控制，优化了运动生成器的训练过程，减少了对真实运动数据的依赖。
- 实验结果显示，TACD在多个数据集上实现了显著的性能提升，包括生成速度加快和内存使用减少。
📝 摘要（中文）
近年来，文本到运动模型在运动质量和指令跟随方面取得了显著进展，但多步骤去噪和大型模型组件使得部署变得缓慢且占用内存。本文提出了终端放大控制蒸馏（TACD），这是一种在没有真实运动训练数据的情况下，从文本提示和预训练教师中训练高效运动生成器的在线策略。通过分段在线流蒸馏，我们沿着学生生成的轨迹监督干净运动预测。实验结果表明，TACD在HumanML3D和KIT-ML上显著改善了少步生成，八步HY-Motion学生FID相较于未使用此约束的蒸馏减少了58%。
🔬 方法详解
问题定义：现有的文本到运动模型在生成过程中存在多步骤去噪和大模型组件的问题，导致生成速度慢且内存消耗高。
核心思路：TACD通过终端放大控制的方法，优化了运动生成器的训练过程，利用预训练教师模型进行有效的知识蒸馏，减少对真实运动数据的需求。
技术框架：TACD的整体架构包括教师模型和学生模型的协同训练，采用分段在线流蒸馏的方法，监督学生生成的轨迹以提高运动预测的准确性。
关键创新：TACD的创新点在于将教师模型的最新查询与学生的步长相结合，限制了干净运动空间中的有效损失权重，从而避免了在去噪端点附近的错误过度加权。
关键设计：在损失函数设计上，TACD引入了动态的损失权重调整机制，并在网络结构上优化了学生模型的组件，使其在保持性能的同时实现了更高的计算效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TACD在HumanML3D和KIT-ML数据集上实现了显著的性能提升，八步HY-Motion学生FID相较于未使用此约束的蒸馏减少了58%。此外，八步学生模型在速度上实现了7.7-11.9倍的加速，并将峰值GPU内存减少了3.8-6.7倍。
🎯 应用场景
该研究的潜在应用场景包括动画生成、虚拟现实和游戏开发等领域，能够有效提升文本驱动的运动生成效率，降低计算资源的消耗。未来，TACD方法有望在更广泛的多模态生成任务中得到应用，推动相关技术的发展。
📄 摘要（原文）
Recent text-to-motion models have improved motion quality and instruction following, yet many-step denoising and large model components make deployment slow and memory-intensive. We present Terminal-Amplification-Controlled Distillation (TACD), an on-policy approach for training efficient motion generators from text prompts and pretrained teachers, without real-motion training data. Building on segmented on-policy flow distillation, we supervise clean-motion predictions along student-generated trajectories. We identify a failure mode in which velocity matching on a fixed supervision grid repeatedly overweights errors near the denoising endpoint, degrading few-step generation. TACD ties the latest teacher query to the student's step size, bounding the effective loss weights in clean-motion space without changing inference. Experiments on HumanML3D and KIT-ML demonstrate improved few-step generation, including a 58% reduction in eight-step HY-Motion student FID relative to distillation without this bound. For diffusion teachers, the endpoint-matching form of TACD yields four-step students with lower FID and matched or improved text-motion retrieval relative to their 50-step teachers on HumanML3D. On HY-Motion and Kimodo, eight-step students with compact components achieve 7.7-11.9x end-to-end speedups and reduce peak GPU memory by 3.8-6.7x relative to their teachers. Project page: https://vkgo.github.io/TACD/