Decoupled Self-Forcing Distillation for Streaming Talking Head Generation
作者: Yanru An, Ruiyan Wang, Wenwu Wei, Rui Bu, Qi Wang, Hongwei Hu, Zhengxue Cheng, Rong Xie, Li Song, Wenjun Zhang
分类: cs.CV
发布日期: 2026-09-09
💡 一句话要点
提出解耦自强蒸馏方法以提升流媒体人头生成质量
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 流媒体生成 人头生成 自强蒸馏 多模态融合 运动生成 视频生成 深度学习
📋 核心要点
- 现有流媒体人头生成方法在保真度与效率之间存在矛盾，导致生成质量受限。
- 论文提出在低维身份解耦运动空间中融合音频和运动信息，利用小型自回归变换器生成运动潜变量。
- 实验结果表明，该方法在15.4 FPS下实现1.3秒延迟，且无质量下降，显著提升了生成效率与保真度。
📝 摘要（中文）
流媒体人头生成技术在音频驱动下逐帧生成视频，但现有方法在保真度和效率之间存在矛盾。端到端方法虽然能实现高质量生成，但需要大规模模型，而两阶段方法则在保真度上有所欠缺。本文提出了一种新的方法，通过在低维身份解耦运动空间中融合条件，利用小型自回归变换器生成运动潜变量，并通过预训练的扩散渲染器将其转化为视频。该方法通过解耦自强蒸馏解决了模型间的曝光偏差问题，实现了高保真度生成，且在15.4 FPS下保持1.3秒延迟，无质量下降。
🔬 方法详解
问题定义：本文旨在解决流媒体人头生成中保真度与效率之间的矛盾。现有的端到端方法虽然高质量，但需要大规模模型，而两阶段方法则在保真度上有所欠缺。
核心思路：论文提出通过在低维身份解耦运动空间中融合条件，避免将音频直接耦合到每个像素，从而减少细节模糊和容量浪费。
技术框架：整体架构包括两个主要模块：小型自回归变换器生成运动潜变量，以及预训练的扩散渲染器将运动潜变量转化为视频。两个模型以因果方式并行运行。
关键创新：最重要的创新在于解耦自强蒸馏方法，通过一个冻结的教师模型解决了曝光偏差问题，提升了运动生成器的保真度。
关键设计：在模型设计中，采用了条件和无条件的蒸馏策略，关键参数设置和损失函数设计确保了运动生成与视频生成的高效协同。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在15.4 FPS下实现了1.3秒的延迟，且在生成质量上没有下降，显著优于传统的两阶段方法。这一性能提升表明，解耦自强蒸馏策略有效地提升了生成模型的效率与保真度。
🎯 应用场景
该研究在虚拟现实、游戏开发和影视制作等领域具有广泛的应用潜力。通过提高流媒体人头生成的效率和保真度，可以实现更自然的虚拟角色交互，提升用户体验。此外，该技术还可能推动实时视频生成和编辑的进步，具有重要的商业价值和社会影响。
📄 摘要（原文）
Streaming talking-head generation produces each frame as its driving audio arrives, yet fidelity and efficiency have so far pulled in opposite directions: end-to-end methods condition a video diffusion model on audio directly and achieve high quality but only at large scale, while cheaper two-stage methods generate an intermediate motion representation and trail in fidelity. We argue the cost of the former lies in the target of fusion: the video latent is dominated by identity, appearance and background, none of which audio bears on, so coupling audio to every pixel blurs detail and wastes capacity. We instead fuse conditions in a low-dimensional identity-disentangled motion space, routing audio and motion captions by their temporal granularity, and generate motion latents with a small causal autoregressive transformer that a pretrained diffusion renderer turns into video. Conditions thus control video transitively, and high fidelity no longer requires a large backbone. Streaming this decomposition needs both models to be causal, and the exposure-bias problem could be solved by self-forcing given a bidirectional teacher. But there is no such teacher in motion space. Our decoupled self-forcing distillation resolves both models under one frozen teacher: conditioned on motion, it distills the renderer into a block-causal student; unconditionally, it scores rendered rollouts against real videos, supervising motion by the video it produces. This lifts the fidelity ceiling from the motion generator onto the stronger renderer. The two models run as parallel causal streams, reaching 15.4 FPS at 1.3 s latency with no quality degradation.