PresentAgent: Multimodal Agent for Presentation Video Generation

📄 arXiv: 2507.04036v1 📥 PDF

作者: Jingwei Shi, Zeyu Zhang, Biao Wu, Yanjie Liang, Meng Fang, Ling Chen, Yang Zhao

分类: cs.CV

发布日期: 2025-07-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出PresentAgent，用于将长文档转化为带叙述的演示视频。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态Agent 演示视频生成 文本到视频 视觉-语言模型 内容生成 语音合成 长文档处理

📋 核心要点

  1. 现有方法生成演示视频时，通常局限于静态幻灯片或文本摘要，缺乏动态性和叙述性。
  2. PresentAgent通过模块化流程，将文档分割、生成幻灯片、合成语音叙述，最终生成同步的演示视频。
  3. 实验结果表明，PresentAgent生成的视频在内容保真度、视觉清晰度和观众理解方面接近人类水平。

📝 摘要（中文）

PresentAgent是一个多模态Agent，旨在将长篇文档转换为带有叙述的演示视频。现有方法通常局限于生成静态幻灯片或文本摘要，而PresentAgent通过生成完全同步的视觉和口语内容，更逼真地模仿人类风格的演示，从而超越了这些限制。PresentAgent采用模块化流程，系统地分割输入文档，规划和渲染幻灯片风格的视觉帧，利用大型语言模型和文本到语音模型生成上下文口语叙述，并以精确的视听对齐无缝地合成最终视频。为了评估这种多模态输出的复杂性，我们引入了PresentEval，这是一个由视觉-语言模型驱动的统一评估框架，通过基于提示的评估，全面评估视频的三个关键维度：内容保真度、视觉清晰度和观众理解。在包含30个文档-演示对的精选数据集上的实验验证表明，PresentAgent在所有评估指标上都接近人类水平的质量。这些结果突出了可控多模态Agent在将静态文本材料转换为动态、有效和可访问的演示格式方面的巨大潜力。

🔬 方法详解

问题定义：现有方法在将长文档转换为演示视频时，主要痛点在于生成的视频缺乏动态性和叙述性，无法有效传递文档内容。传统方法生成的静态幻灯片或文本摘要难以吸引观众，且信息密度低。因此，需要一种能够自动生成高质量、具有叙述性的演示视频的方法。

核心思路：PresentAgent的核心思路是将文档内容转化为动态的、带有语音叙述的演示视频，模仿人类演讲者的风格。通过将文档分割成逻辑单元，并为每个单元生成相应的视觉内容和语音叙述，最终将它们同步组合成完整的视频。这种方法旨在提高信息传递的效率和吸引力。

技术框架：PresentAgent采用模块化流水线结构，主要包含以下几个阶段：1) 文档分割：将输入文档分割成逻辑段落或章节。2) 幻灯片规划与渲染：根据文档内容规划幻灯片布局，并渲染生成幻灯片风格的视觉帧。3) 语音叙述生成：利用大型语言模型和文本到语音模型，为每个幻灯片生成上下文相关的语音叙述。4) 视频合成：将幻灯片和语音叙述进行精确的视听对齐，最终合成完整的演示视频。

关键创新：PresentAgent的关键创新在于其端到端的多模态生成能力，能够自动将长文档转化为高质量的演示视频。此外，PresentEval评估框架的引入，为多模态视频生成任务提供了一个统一的评估标准，解决了以往评估指标不全面的问题。

关键设计：在幻灯片规划与渲染阶段，可能使用了预定义的幻灯片模板，并根据文档内容自动选择合适的模板。在语音叙述生成阶段，可能使用了微调的大型语言模型，以生成更符合演示风格的叙述文本。视频合成阶段，需要精确控制语音和视觉的同步，可能使用了时间戳对齐等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PresentAgent生成的演示视频在内容保真度、视觉清晰度和观众理解方面都接近人类水平。通过PresentEval评估框架，该方法在所有评估指标上都取得了显著的性能，证明了其在多模态视频生成方面的有效性。具体性能数据未知，但摘要强调了“approaches human-level quality across all evaluation metrics”。

🎯 应用场景

PresentAgent可应用于在线教育、企业培训、学术报告等领域，将静态文档转化为动态演示视频，提高信息传递效率和用户参与度。该技术还可用于快速生成产品介绍视频、新闻报道视频等，具有广泛的应用前景。未来，该技术有望进一步发展，实现更智能化的视频生成和编辑。

📄 摘要（原文）

We present PresentAgent, a multimodal agent that transforms long-form documents into narrated presentation videos. While existing approaches are limited to generating static slides or text summaries, our method advances beyond these limitations by producing fully synchronized visual and spoken content that closely mimics human-style presentations. To achieve this integration, PresentAgent employs a modular pipeline that systematically segments the input document, plans and renders slide-style visual frames, generates contextual spoken narration with large language models and Text-to-Speech models, and seamlessly composes the final video with precise audio-visual alignment. Given the complexity of evaluating such multimodal outputs, we introduce PresentEval, a unified assessment framework powered by Vision-Language Models that comprehensively scores videos across three critical dimensions: content fidelity, visual clarity, and audience comprehension through prompt-based evaluation. Our experimental validation on a curated dataset of 30 document-presentation pairs demonstrates that PresentAgent approaches human-level quality across all evaluation metrics. These results highlight the significant potential of controllable multimodal agents in transforming static textual materials into dynamic, effective, and accessible presentation formats. Code will be available at https://github.com/AIGeeksGroup/PresentAgent.