Bitrate-Controlled Diffusion for Disentangling Motion and Content in Video

📄 arXiv: 2509.08376v1 📥 PDF

作者: Xiao Li, Qi Chen, Xiulian Peng, Kai Yu, Xie Chen, Yan Lu

分类: cs.CV

发布日期: 2025-09-10

💡 一句话要点

提出基于码率控制扩散模型的视频解耦框架，用于分离视频中的运动和内容

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 视频解耦 扩散模型 自监督学习 信息瓶颈 运动迁移

📋 核心要点

  1. 现有视频解耦方法依赖较强的假设和归纳偏置，限制了其泛化能力和灵活性。
  2. 提出一种基于码率控制扩散模型的自监督框架，通过信息瓶颈促进运动和内容的解耦。
  3. 在说话人头部视频和2D卡通视频上验证了该框架的有效性，实现了运动迁移和自回归运动生成。

📝 摘要（中文）

本文提出了一种新颖且通用的框架，用于将视频数据解耦为动态运动和静态内容两个组成部分。该方法是一个自监督流程，与以往工作相比，具有更少的假设和归纳偏置。它利用基于Transformer的架构，为逐帧运动和片段内容联合生成灵活的隐式特征，并结合低码率矢量量化作为信息瓶颈，以促进解耦并形成有意义的离散运动空间。码率控制的潜在运动和内容被用作去噪扩散模型的条件输入，以促进自监督表征学习。在真实世界的说话人头部视频上，通过运动迁移和自回归运动生成任务验证了解耦表征学习框架。此外，该方法还可以推广到其他类型的视频数据，例如2D卡通人物的像素精灵。这项工作为解耦视频表征的自监督学习提供了一个新的视角，为更广泛的视频分析和生成领域做出了贡献。

🔬 方法详解

问题定义：现有视频解耦方法通常依赖于特定的网络结构或损失函数设计，对视频内容和运动的先验知识要求较高，缺乏通用性和灵活性。此外，如何有效地分离视频中的运动和内容，并学习到可解释的运动表征仍然是一个挑战。

核心思路：本文的核心思路是利用信息瓶颈原理，通过低码率矢量量化来限制运动信息的容量，从而迫使模型学习到更加简洁和可解释的运动表征。同时，利用扩散模型强大的生成能力，将解耦后的运动和内容作为条件输入，实现高质量的视频生成和编辑。

技术框架：该框架主要包含三个模块：运动和内容编码器、矢量量化模块和扩散模型。首先，使用基于Transformer的编码器分别提取逐帧运动特征和片段内容特征。然后，通过矢量量化模块对运动特征进行离散化，形成低码率的运动编码。最后，将量化后的运动编码和内容特征作为条件输入到扩散模型中，生成目标视频帧。

关键创新：该方法的主要创新在于：1) 提出了一种基于码率控制的解耦框架，通过信息瓶颈促进运动和内容的解耦；2) 利用扩散模型强大的生成能力，实现了高质量的视频生成和编辑；3) 该框架具有较强的通用性，可以应用于不同类型的视频数据。

关键设计：在运动和内容编码器中，使用了基于Transformer的架构，以捕捉视频中的时序依赖关系。矢量量化模块采用Gumbel-Softmax技巧，实现可微的离散化过程。扩散模型采用U-Net结构，并引入了条件输入机制，以控制生成视频的运动和内容。损失函数包括重构损失、量化损失和对抗损失，以保证生成视频的质量和解耦效果。

📊 实验亮点

该论文在说话人头部视频和2D卡通视频上进行了实验验证。在运动迁移任务中，该方法能够生成高质量的目标视频，并保持人物的身份信息。在自回归运动生成任务中，该方法能够生成具有自然运动模式的视频序列。实验结果表明，该方法能够有效地解耦视频中的运动和内容，并学习到可解释的运动表征。

🎯 应用场景

该研究成果可应用于视频编辑、视频生成、视频压缩等领域。例如，可以实现对视频中人物的运动进行编辑和迁移，生成具有特定运动风格的新视频。此外，该方法还可以用于视频压缩，通过对运动信息进行高效编码，降低视频的存储和传输成本。未来，该方法有望应用于虚拟现实、增强现实等领域，为用户提供更加沉浸式的视频体验。

📄 摘要（原文）

We propose a novel and general framework to disentangle video data into its dynamic motion and static content components. Our proposed method is a self-supervised pipeline with less assumptions and inductive biases than previous works: it utilizes a transformer-based architecture to jointly generate flexible implicit features for frame-wise motion and clip-wise content, and incorporates a low-bitrate vector quantization as an information bottleneck to promote disentanglement and form a meaningful discrete motion space. The bitrate-controlled latent motion and content are used as conditional inputs to a denoising diffusion model to facilitate self-supervised representation learning. We validate our disentangled representation learning framework on real-world talking head videos with motion transfer and auto-regressive motion generation tasks. Furthermore, we also show that our method can generalize to other types of video data, such as pixel sprites of 2D cartoon characters. Our work presents a new perspective on self-supervised learning of disentangled video representations, contributing to the broader field of video analysis and generation.