StreamEval: Evaluating Interactive Streaming Video Generation Models
作者: StreamEval Team
分类: cs.CV
发布日期: 2026-10-20
💡 一句话要点
提出StreamEval基准以评估交互式流媒体视频生成模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流媒体视频生成 实时交互 多模态请求 状态一致性 视觉保真度 任务评估 基准测试
📋 核心要点
- 现有的流媒体视频生成模型在实时交互和请求执行方面存在显著挑战，尤其是在状态一致性和内容保留方面。
- StreamEval基准通过定义五个具体任务和300个测试案例，提供了一个全面的评估框架，旨在提升交互式视频生成的可靠性。
- 实验结果显示，尽管视觉质量较高，但在请求执行和状态一致性方面的得分普遍较低，揭示了当前技术的不足之处。
📝 摘要（中文）
随着流媒体视频生成技术的发展，实现与生成视频的实时交互变得愈加重要。本文提出了StreamEval，一个统一的基准，涵盖五个任务：头像对话、头像表现、世界生成、指令编辑和参考编辑。StreamEval包含300个脚本化测试案例，时长为15-300秒，每个案例指定初始资产、逐步到达的多模态请求以及状态变化和内容保留的明确要求。性能评估从任务执行、状态一致性、视觉保真度和视听协调四个维度进行，采用十个任务特定指标在0-100的范围内进行量化。对37个不同模型在300个测试案例上的评估发现，高视觉质量和身份保留并不一定与可靠的请求执行或持续的状态一致性相符。尤其是请求执行仍然具有挑战性：在七个头像表现模型中，最高任务特定得分为36.90，在文本条件的世界生成中为25.93，在三个报告的参考编辑模型中为15.00。这些发现表明，在时间和保留约束下，可靠的请求执行是推动全模态实时交互系统进步的核心挑战。
🔬 方法详解
问题定义：本文旨在解决交互式流媒体视频生成模型在实时请求执行和状态一致性方面的不足，现有方法在这些领域表现不佳，影响用户体验。
核心思路：StreamEval基准通过设计多样化的任务和详细的评估指标，提供了一个系统化的框架，以便更好地评估和比较不同模型的性能。
技术框架：该框架包括五个主要任务，每个任务都有明确的测试案例和评估标准，涵盖从初始资产到多模态请求的逐步处理。
关键创新：StreamEval的创新在于其综合性和系统性，首次将多种交互任务整合在一个基准中，并通过具体的性能指标进行量化评估。
关键设计：在设计中，采用了十个任务特定的评估指标，涵盖任务执行、状态一致性、视觉保真度和视听协调，确保评估的全面性和准确性。具体的参数设置和损失函数设计在论文中详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在37个模型中，最高的任务特定得分为36.90，表明在头像表现任务中模型的执行能力仍有待提升。整体来看，视觉质量与请求执行的可靠性之间并不总是正相关，揭示了当前技术的局限性。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实、在线教育等，能够为用户提供更为沉浸和互动的体验。通过提升流媒体视频生成的实时交互能力，未来可能推动更多创新应用的出现。
📄 摘要（原文）
As streaming video generation advances, enabling real-time interaction with generated video is becoming increasingly important. We introduce StreamEval, a unified benchmark for interactive streaming video generation spanning five tasks: avatar dialogue, avatar performance, world generation, instruction editing, and reference editing. StreamEval comprises 300 scripted test cases lasting 15-300s, each specifying initial assets, incrementally arriving multimodal requests, and explicit requirements for state changes and content preservation. Performance is assessed along four evaluation dimensions: task execution, state consistency, visual fidelity, and audiovisual coordination, instantiated through ten task-specific metrics on a 0-100 scale. Evaluating 37 distinct models across 300 test cases, we find that high visual quality and identity retention do not necessarily coincide with reliable request execution or sustained state consistency. In particular, request execution remains challenging: the highest task-specific scores are 36.90 for Following among seven avatar-performance models, 25.93 for Following in text-conditioned world generation, and 15.00 for Edit Success among three reported reference-editing models. These findings identify reliable request execution under timing and preservation constraints as a central challenge for advancing omni-modal real-time interactive systems. The leaderboard is available at https://streameval.ai