AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation

📄 arXiv: 2609.29816v2 📥 PDF

作者: Zhiyu Xu, Weilong Yan, Yufei Shi, Shiyang Li, Yihao Liu, Kin-Man Lam, Yuewen Cao

分类: cs.CV, cs.SD

发布日期: 2026-09-24 (更新: 2026-09-25)

备注: 22 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出AV-GRPO以解决音视频生成中的模态同步问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频生成 模态对齐 跨模态同步 强化学习 多模态学习 数据集设计 生成模型

📋 核心要点

  1. 现有联合音视频生成模型在模态保真度、文本对齐和跨模态同步方面存在显著不足，导致生成效果不理想。
  2. 本文提出AV-GRPO框架，通过模态锚定的在线扩散强化学习，解耦模态信号并优化生成过程，提升生成质量。
  3. 实验结果显示，AV-GRPO在JavisBench和VABench上超越LTX-2.3，生成质量和模态同步性显著提升，验证了方法的有效性。

📝 摘要（中文）

近年来，联合音视频生成取得了重大进展，但现有模型在每种模态的保真度、文本模态对齐和跨模态同步方面仍存在不足。虽然强化学习后训练提供了有希望的解决方案，但直接将其应用于联合音视频生成面临挑战。为此，本文提出了AV-GRPO，一个基于模态锚定的在线扩散强化学习框架，并引入了5DAV，一个可控难度的解耦训练数据集。AV-GRPO通过三个关键模块实现了模态信号的解耦和优化，实验结果表明其在生成质量、语义对齐和跨模态同步方面优于现有方法。

🔬 方法详解

问题定义：本文旨在解决联合音视频生成中的模态保真度不足、模态对齐不佳和跨模态同步困难等问题。现有方法在处理异构模态奖励时，学习信号交织，导致信用分配复杂，且联合优化计算开销大。

核心思路：AV-GRPO通过模态锚定的在线扩散强化学习框架，将联合模态偏好学习转化为单模态子问题，从而实现精确的奖励归因和更好的同步效果。

技术框架：AV-GRPO包括三个主要模块：模态锚定的回放以解耦学习信号并稳定难度；轨迹锁定的冻结塔优化以降低成本和重新分配信用；适应性目标和扰动强度根据模态特定动态进行调整。

关键创新：AV-GRPO的创新在于通过模态锚定和解耦训练，克服了现有方法在模态同步和奖励分配上的局限，显著提升了生成质量和效率。

关键设计：在设计中，采用了难度可控的5DAV数据集，解耦样本以便于系统训练，同时在损失函数和网络结构上进行了针对性的优化，以适应不同模态的动态特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AV-GRPO在生成质量、语义对齐和跨模态同步方面均优于LTX-2.3，尤其在LoRA和全微调条件下，性能提升显著，验证了方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够为音视频内容生成提供更高质量的解决方案。随着技术的进步，AV-GRPO有望在多模态生成任务中发挥更大作用，推动相关领域的发展。

📄 摘要（原文）

Recent years have witnessed major progress in joint audio-video generation. Existing models still suffer from limited per-modality fidelity, insufficient text-modality alignment and weak cross-modal synchronization. While reinforcement-learning post-training offers a promising remedy, directly adapting it to joint audio-video generation is challenging. Heterogeneous multimodal rewards entangle learning signals and complicate credit assignment. Joint optimization of two modality towers is computationally expensive given their divergent dynamics. Moreover, synchronization evaluation difficulty depends on paired samples, preventing fair reward comparisons. We propose AV-GRPO, a modality-anchored online diffusion RL framework, and 5DAV, a decoupled, difficulty-controllable training dataset. AV-GRPO includes three key modules: (1) modality-anchored rollouts to disentangle learning signals and stabilize difficulty; (2) trajectory-locked frozen-tower optimization to reduce cost and reassign credit; (3) adaptive objectives and perturbation strengths tailored to modality-specific dynamics. This converts coupled multimodal preference learning into unimodal subproblems for precise reward attribution and better synchronization. Our 5DAV dataset decouples samples across five dimensions for systematic training. Experiments on JavisBench and VABench demonstrate AV-GRPO outperforms LTX-2.3 in generation quality, semantic alignment and cross-modal synchronization under LoRA and full fine-tuning. Ablations confirm our designs. Code and data: https://github.com/zhiyuxu03/AV-GRPO