Triangular Resampling for Long-Horizon Motion Generation
作者: Kunhang Li, Yiyi Cai, Xiangyue Zhang, Fangyuan Tu, Yuhan Wu, Zhixiang Wang, Kaipeng Zhang, Haiyang Liu
分类: cs.CV, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出三角重采样方法以解决长时间运动生成中的误差积累问题
🎯 匹配领域: 支柱四:生成式动作 (Generative Motion) 支柱七:动作重定向 (Motion Retargeting) 支柱八:物理动画 (Physics-based Animation)
关键词: 运动生成 误差积累 三角重采样 后训练方法 模型优化 去噪技术 生成模型 深度学习
📋 核心要点
- 现有运动生成模型在长时间序列生成中面临误差积累的问题,导致生成结果质量下降。
- 本文提出的三角重采样方法通过扩展回放训练,利用真实数据限制模型生成的漂移,解决了训练窗口与推理状态的不匹配。
- 实验结果显示,三角重采样方法在运动生成任务中显著提高了FID AUC,表现优于传统方法。
📝 摘要(中文)
本文介绍了一种后训练方法——三角重采样(TR),旨在减轻运动扩散模型中的长时间误差积累问题。TR基于FloodDiffusion的三角去噪调度,解决了真实数据训练窗口与模型生成推理状态之间的不匹配。通过在活动窗口内扩展回放训练,TR利用真实数据限制过度漂移。实验结果表明,TR和TR-DMD在HumanML3D测试提示的120秒运动生成任务中,分别在非DMD和DMD比较组中实现了最先进的FID AUC,监督TR相较于无回放的匹配后训练,FID AUC降低了40.9%,FID降级斜率降低了55.3%。
🔬 方法详解
问题定义:本文旨在解决运动扩散模型在长时间生成过程中误差积累的问题。现有方法在部分去噪状态下,未能有效处理真实数据训练窗口与模型生成状态之间的不匹配,导致生成质量下降。
核心思路:三角重采样(TR)方法通过在活动窗口内扩展回放训练,利用真实数据的限制来减少模型生成的漂移,从而提高生成结果的准确性和一致性。
技术框架:TR的整体架构包括多个模块:首先,选择一个去噪阈值,该阈值在潜在位置和回放更新中共享;然后,进行多步三角去噪,最后根据阈值替换低于阈值的状态为噪声匹配的真实数据。
关键创新:TR的主要创新在于其回放构建支持监督训练和分布匹配,且在不进行梯度追踪的情况下实现了多步去噪。这一设计与现有方法的本质区别在于其有效地处理了部分去噪状态的漂移问题。
关键设计:在TR中,去噪阈值的选择是关键参数,此外,损失函数和网络结构的设计也经过优化,以确保在每次更新后,低于阈值的状态能够被真实数据替换,从而提升模型的生成能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明,三角重采样(TR)和TR-DMD在HumanML3D测试提示的120秒运动生成任务中,分别在非DMD和DMD比较组中实现了最先进的FID AUC。监督TR方法相较于无回放的匹配后训练,FID AUC降低了40.9%,FID降级斜率降低了55.3%,显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括动画生成、虚拟现实和机器人运动规划等。通过提高长时间运动生成的准确性,TR方法可以为这些领域提供更高质量的运动生成方案,推动相关技术的发展与应用。未来,该方法可能会影响更广泛的生成模型研究,促进多模态生成技术的进步。
📄 摘要(原文)
We introduce Triangular Resampling (TR), a post-training method for mitigating long-horizon error accumulation in motion diffusion models. Built on FloodDiffusion's triangular denoising schedule, TR addresses the mismatch between ground-truth-derived training windows and model-generated inference states. Replacing only completed motion history leaves this mismatch unresolved in partially denoised states within the active window. TR therefore extends rollout-based training to these states, using ground-truth clamping to limit excessive drift. For each replayed sample, TR draws one denoising threshold, shared across latent positions and replay updates, and replays multi-step triangular denoising without gradient tracking. After each update, states below the threshold are replaced with noise-matched ground truth, while those at or above it retain model predictions. The resulting latent window enters the standard training update. This rollout construction supports both supervised training (TR) and distribution matching (TR-DMD). On 120-second motion generation from HumanML3D test prompts, TR and TR-DMD achieve state-of-the-art FID AUC within their respective non-DMD and DMD comparison groups. Supervised TR reduces FID AUC by 40.9% and FID degradation slope by 55.3% relative to matched post-training without replay.