VideoGen-Agent: Reinforcing Video Generation Agents
作者: Binxu Li, Haoyi Duan, Yuhui Zhang, Yaohui Zhang, Zihao Lin, Kaituo Feng, Suozhi Huang, Xiangyi Li, Yu Li, Chunyuan Li, Shilong Liu, Mengdi Wang
分类: cs.CV
发布日期: 2026-09-21
💡 一句话要点
提出VideoGen-Agent以解决视频生成中的知识与一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 多模态代理 强化学习 工具使用 生成模型 基准测试 物理一致性
📋 核心要点
- 现有视频生成模型在处理需要专业知识和物理一致性的提示时表现不佳，导致生成结果的质量和一致性不足。
- 本文提出VideoGen-Agent，通过多任务强化学习训练代理，利用外部工具进行视频生成，增强生成过程中的决策能力。
- 在VABench基准测试中，VideoGen-Agent的性能显著提升，得分从56.5提高至75.6，且在工具升级后进一步提升至86.1。
📝 摘要（中文）
近年来，视频生成模型的进展使得高保真、时间一致的视频生成成为可能。然而，这些模型在满足需要专业知识、特定身份、物理一致性或有序事件的提示时常常面临挑战。本文提出了VideoGen-Agent，一个通过多任务强化学习训练的多模态代理，能够利用外部工具进行视频生成。该代理通过多轮交互协调增强、生成和验证工具，利用提示和中间观察来指导决策。我们在一个涵盖六个任务的类别平衡数据集上训练共享策略，并通过教师生成轨迹的监督微调建立工具使用行为，随后通过强化学习进行优化。我们进一步引入VABench，一个包含600个提示的基准，涵盖程序知识、单一及多实体身份保持、物理一致性、场景构图和多镜头时间结构。在VABench上，VideoGen-Agent的得分从56.5提升至75.6，提升幅度为19.1分。升级生成工具后，得分进一步提高至86.1，且无需额外的代理训练。人类评审者在84.3%的比较中更倾向于升级配置。
🔬 方法详解
问题定义：本文旨在解决现有视频生成模型在满足复杂提示时的不足，特别是在专业知识、身份保持和物理一致性方面的挑战。
核心思路：通过引入VideoGen-Agent，利用多任务强化学习训练代理，使其能够协调使用外部工具进行视频生成，从而提升生成质量和一致性。
技术框架：整体架构包括三个主要模块：增强工具、生成工具和验证工具。代理通过多轮交互使用这些工具，并根据提示和中间观察进行决策。
关键创新：最重要的创新在于引入了多任务强化学习和类别感知混合奖励机制，评估工具调用的有效性和生成视频的质量，与现有方法相比，显著提升了生成能力。
关键设计：在训练过程中，采用了教师生成轨迹的监督微调，建立了工具使用行为，并通过强化学习进一步优化。此外，设计了类别感知混合奖励，以评估任务适应性和生成质量。
🖼️ 关键图片
📊 实验亮点
在VABench基准测试中，VideoGen-Agent的得分从56.5提升至75.6，提升幅度为19.1分。升级生成工具后，得分进一步提高至86.1，且无需额外的代理训练。人类评审者在84.3%的比较中更倾向于升级配置，显示出显著的用户偏好。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够为创作者提供更高效的视频生成工具，提升内容创作的灵活性和质量。未来，随着生成工具的不断进步，VideoGen-Agent有望在更广泛的应用场景中发挥重要作用。
📄 摘要（原文）
Recent advances in video generative models have enabled high-fidelity, temporally coherent video generation. However, these models often struggle to satisfy prompts requiring specialized knowledge, specific identities, physical consistency, or ordered events. In this paper, we present VideoGen-Agent, a multimodal agent trained through multitask agentic reinforcement learning to use external tools for video generation. The agent coordinates augmentation, generation, and verification tools through multi-turn interactions, using the prompt and intermediate observations to guide its decisions. We train a shared policy on a category-balanced dataset spanning six tasks. Supervised fine-tuning on teacher-generated trajectories establishes tool-use behavior, which is then refined through reinforcement learning. A category-aware hybrid reward evaluates tool-call validity, task-appropriate tool use, and generated video quality. We further introduce VABench, a held-out benchmark of 600 prompts covering procedural knowledge, single- and multi-entity identity preservation, physical consistency, scene composition, and multi-shot temporal structure. On VABench, VideoGen-Agent improves over its base text-to-video generator by 19.1 points, from 56.5 to 75.6. Upgrading the generation tools further raises the score to 86.1 without additional agent training. Human raters prefer the upgraded configuration over the strongest standalone baseline in 84.3% of comparisons. These results support learning tool use across video-generation tasks and show that the trained agent can benefit from subsequent advances in generation tools.