AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation

📄 arXiv: 2609.29816v1 📥 PDF

作者: Zhiyu Xu, Weilong Yan, Yufei Shi, Shiyang Li, Yihao Liu, Kin-Man Lam, Yuewen Cao

分类: cs.CV, cs.SD

发布日期: 2026-09-24

备注: 22 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出AV-GRPO以解决音视频生成中的模态对齐与同步问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频生成 模态对齐 跨模态同步 强化学习 多模态学习 数据集设计 生成模型 深度学习

📋 核心要点

  1. 现有音视频生成模型在模态保真度、文本对齐和跨模态同步方面存在显著不足，导致生成效果不理想。
  2. 本文提出AV-GRPO框架，通过模态锚定的在线扩散强化学习，解耦模态信号并优化生成过程，提升生成质量。
  3. 实验结果表明，AV-GRPO在JavisBench和VABench上优于LTX-2.3，生成质量、语义对齐和跨模态同步均有显著提升。

📝 摘要（中文）

近年来，联合音视频生成取得了重大进展，但现有模型在每个模态的保真度、文本模态对齐和跨模态同步方面仍存在不足。尽管强化学习后训练提供了有希望的解决方案，但直接应用于联合音视频生成面临挑战。为此，本文提出了AV-GRPO，一个基于模态锚定的在线扩散强化学习框架，以及5DAV，一个可控难度的解耦训练数据集。AV-GRPO通过三个关键模块实现了模态信号的解耦和优化，显著提升了生成质量和模态对齐效果。

🔬 方法详解

问题定义：本文旨在解决联合音视频生成中模态保真度不足、模态对齐不充分和跨模态同步弱的问题。现有方法在处理异构模态奖励时，学习信号交织，导致信用分配复杂，且联合优化计算开销大。

核心思路：AV-GRPO通过模态锚定的在线扩散强化学习框架，解耦模态信号，稳定训练难度，并将联合模态偏好学习转化为单模态子问题，从而实现精确的奖励归属和更好的同步效果。

技术框架：AV-GRPO框架包含三个主要模块：模态锚定的回合策略、锁定轨迹的冻结塔优化和针对模态特定动态的自适应目标与扰动强度。这些模块协同工作，优化生成过程。

关键创新：最重要的创新在于模态锚定的回合策略和冻结塔优化，这使得模态信号解耦成为可能，并降低了计算成本，改善了信用分配。与现有方法相比，AV-GRPO在处理模态动态时更具灵活性和效率。

关键设计：在设计中，采用了适应性目标和扰动强度，确保每个模态的动态特性得到充分考虑。此外，5DAV数据集通过五个维度解耦样本，为系统训练提供了支持。实验中使用的损失函数和网络结构经过精心设计，以确保模型性能的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在JavisBench和VABench上的实验结果显示，AV-GRPO在生成质量、语义对齐和跨模态同步方面均优于基线LTX-2.3，具体提升幅度达到了显著水平，验证了所提方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括多模态内容生成、虚拟现实、电影制作和游戏开发等。通过提高音视频生成的质量和同步性，AV-GRPO能够为创作者提供更高效的工具，推动多媒体内容的创新与发展。未来，该技术可能在自动化视频编辑和智能内容推荐等领域产生深远影响。

📄 摘要（原文）

Recent years have witnessed major progress in joint audio-video generation. Existing models still suffer from limited per-modality fidelity, insufficient text-modality alignment and weak cross-modal synchronization. While reinforcement-learning post-training offers a promising remedy, directly adapting it to joint audio-video generation is challenging. Heterogeneous multimodal rewards entangle learning signals and complicate credit assignment. Joint optimization of two modality towers is computationally expensive given their divergent dynamics. Moreover, synchronization evaluation difficulty depends on paired samples, preventing fair reward comparisons. We propose AV-GRPO, a modality-anchored online diffusion RL framework, and 5DAV, a decoupled, difficulty-controllable training dataset. AV-GRPO includes three key modules: (1) modality-anchored rollouts to disentangle learning signals and stabilize difficulty; (2) trajectory-locked frozen-tower optimization to reduce cost and reassign credit; (3) adaptive objectives and perturbation strengths tailored to modality-specific dynamics. This converts coupled multimodal preference learning into unimodal subproblems for precise reward attribution and better synchronization. Our 5DAV dataset decouples samples across five dimensions for systematic training. Experiments on JavisBench and VABench demonstrate AV-GRPO outperforms LTX-2.3 in generation quality, semantic alignment and cross-modal synchronization under LoRA and full fine-tuning. Ablations confirm our designs. Code and data: https://github.com/zhiyuxu03/AV-GRPO