Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model
作者: Yunjiao Zhou, Junlang Qian, Lihua Xie, Jianfei Yang
分类: cs.CV
发布日期: 2026-10-02
💡 一句话要点
提出寄生共去噪以实现视频中的3D人类动作生成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D动作生成 文本到视频 寄生共去噪 多模态学习 动作解码器
📋 核心要点
- 现有的大型文本到视频扩散模型在生成逼真动作方面表现出色，但缺乏显式的3D动作生成能力。
- 本文提出寄生共去噪的方法，通过主模型的去噪过程解码动作信号，避免了独立模型的训练。
- 实验表明，PMD在文本与动作对齐方面表现优异，且参数量远小于传统动作生成模型。
📝 摘要（中文）
尽管大型文本到视频的扩散模型未经过显式的3D动作监督，但其生成的视频中仍能合成逼真的人类动作。本文探讨了如何将这种隐式知识转化为显式的3D动作生成，而无需训练独立的动作模型。通过对冻结的Wan2.1模型的探测，发现其在整个去噪过程中存在可恢复的动作信号。基于此，提出了寄生共去噪的范式，从主模型的去噪调度中解码动作，而非由独立生成器产生。我们实现了寄生动作解码器（PMD），它通过$σ$自适应多层融合读取主模型的中间特征，且不修改主模型，显著提高了文本与动作的对齐效果。
🔬 方法详解
问题定义：本文旨在解决如何从未经过显式3D动作监督的大型文本到视频扩散模型中提取可用的3D动作信号。现有方法通常需要独立的动作生成模型，导致训练复杂且资源消耗大。
核心思路：提出寄生共去噪的范式，利用主模型的去噪过程直接解码动作信号，而不是依赖独立的生成器。这样设计的目的是充分利用主模型中隐含的动作信息，降低训练成本。
技术框架：整体架构包括寄生动作解码器（PMD），它与主模型共享去噪调度，通过$σ$自适应多层融合读取中间特征。该框架不需要修改主模型，确保了其原有功能的完整性。
关键创新：PMD的最大创新在于其能够在不增加额外训练负担的情况下，从主模型中提取动作信号，显著提高了文本与动作的对齐效果。与现有方法相比，PMD在参数效率上具有明显优势。
关键设计：PMD采用了$σ$自适应多层融合技术，能够有效整合主模型的中间特征。此外，损失函数设计上注重文本与动作之间的对齐，确保生成的动作与文本描述高度一致。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PMD在文本与动作对齐方面的表现优于传统的动作生成基线，且其训练参数仅为后者的一小部分。这一创新方法在生成配对视频和动作时，能够在单次传递中实现更高的效率和准确性。
🎯 应用场景
该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等场景，能够为这些领域提供高效的3D动作生成解决方案。未来，随着技术的进一步发展，可能会在实时交互和个性化内容生成方面产生深远影响。
📄 摘要（原文）
Despite never being supervised on explicit 3D motion, large-scale text-to-video diffusion models synthesize realistic human motion in their generated videos. We ask whether this implicit knowledge can be turned into explicit 3D motion generation, without training a separate motion model. Probing a frozen Wan2.1 reveals that a recoverable motion signal is present in its intermediate states across the entire denoising schedule, not confined to the clean output. Motivated by this, we introduce parasitic co-denoising, a paradigm in which motion is decoded from the host model along its denoising schedule rather than produced by an independent generator. We instantiate it as the Parasitic Motion Decoder (PMD), an efficient flow-matching decoder that shares the host's noise schedule and reads its intermediate features through a $σ$-adaptive multi-layer fusion, leaving the host unmodified. Drawing its coverage from the host rather than from motion data, PMD leads dedicated motion generators on text-motion alignment at a small fraction of their trainable parameters, while producing paired video and motion in a single pass that motion-only baselines cannot match.