FastBench: Can Streaming VLMs Perceive High-Dynamic Real-World Streams?
作者: Yuxuan Hu, Weikang Shi, Yang Bo, Xudong Lu, Xintong Guo, Shuhan Li, Yuyang He, Huankang Guan, Peiwen Sun, Yunqiao Yang, Wenbo Li, Rui Liu, Hongsheng Li
分类: cs.CV, cs.CL
发布日期: 2026-10-08
🔗 代码/项目: GITHUB
💡 一句话要点
提出FastBench以解决高动态视频流理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高动态视频理解 流媒体模型 问答生成 轨迹验证 动态帧率调整 视频分析 多模态学习
📋 核心要点
- 现有的流媒体视频理解方法在高动态场景下表现不佳，无法有效捕捉快速事件。
- 论文提出FastBench基准，结合高FPS剪辑生成问答，并通过轨迹验证和人工检查提高评估准确性。
- 实验结果显示，最强模型在高动态场景下的表现仍然有限，ProactiveFrame在稀疏采样下表现优于传统方法。
📝 摘要（中文）
流媒体视频大语言模型（VLMs）能够实现连续的视频理解，但现有基准主要集中在低动态场景下。在有限的上下文预算下，模型必须平衡时间历史、空间分辨率和时间粒度；以1-2 FPS的稀疏采样会错过快速事件。我们引入FastBench来评估真实视频流中的高动态感知。其轨迹基础管道结合了高FPS剪辑的问答生成、可在2 FPS下回答的问题过滤、使用SAM3和CoTracker3轨迹的答案验证，以及三轮人工检查。FastBench包含来自八个领域的306个问答对、六种能力以及前向、即时和后向的时间范围，并附有人工标注的证据区间。我们还提出了ProactiveFrame，这是一种无训练的基线，通过文本标记调整输入帧率。实验表明，当前VLM在流中判断何时需要更细致的时间感知方面存在困难。
🔬 方法详解
问题定义：论文要解决高动态视频流理解中的感知能力不足问题。现有方法在低动态场景下表现良好，但在快速事件的捕捉上存在显著缺陷。
核心思路：论文的核心解决思路是通过FastBench基准评估高动态场景下的VLM性能，结合高FPS视频剪辑生成问答，并通过轨迹验证确保答案的准确性。
技术框架：整体架构包括高FPS剪辑的问答生成、可在2 FPS下回答的问题过滤、答案验证模块，以及三轮人工检查。FastBench包含306个问答对，覆盖多个领域和能力。
关键创新：最重要的技术创新点在于引入了ProactiveFrame基线，通过动态调整帧率来优化信息捕捉，与传统的稀疏采样方法相比，能够更有效地保留高动态信息。
关键设计：关键设计包括使用双层滑动窗口保留最近的高FPS观察，同时将较旧的观察稀疏化处理。实验中还使用了SAM3和CoTracker3进行答案验证，确保了评估的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最强模型Gemini-3.5-Flash在高动态场景下仅得分50.7%。通过提高采样密度，Qwen3-VL-8B的得分从2 FPS下的32.9%提升至24 FPS下的44.6%，但随着历史信息的压缩，性能提升趋于饱和。ProactiveFrame在稀疏均匀采样下表现提高了5.4和1.5个百分点，但仍低于理想的引导聚焦效果。
🎯 应用场景
该研究的潜在应用领域包括实时监控、自动驾驶、视频分析等高动态场景，能够提升对快速变化环境的理解和响应能力。未来，FastBench可能成为评估和优化视频理解模型的重要基准，推动相关技术的发展。
📄 摘要（原文）
Streaming Video Large Language Models (VLMs) enable continuous video understanding, yet existing benchmarks focus on low-dynamic scenarios. Under bounded context budgets, models must balance temporal history, spatial resolution, and temporal granularity; sparse sampling at 1--2 FPS misses fast events. We introduce FastBench to evaluate high-dynamic perception in real-world video streams. Its trajectory-grounded pipeline combines QA generation from high-FPS clips, filtering of questions answerable at 2 FPS, answer verification using SAM3 and CoTracker3 trajectories, and three rounds of human inspection. FastBench contains 306 QA pairs across eight domains, six capabilities, and forward, instant, and backward temporal scopes, with human-annotated evidence intervals. We also present ProactiveFrame, a training-free baseline that adjusts incoming frame rates through text tokens. A dual-tier sliding window retains recent high-FPS observations while downsampling older ones into sparse history. Experiments reveal substantial limitations: the strongest model, Gemini-3.5-Flash, scores only 50.7%. Denser sampling improves Qwen3-VL-8B from 32.9% at 2 FPS to 44.6% at 24 FPS, but gains saturate as history is compressed. ProactiveFrame outperforms sparse uniform sampling by 5.4 and 1.5 percentage points, yet remains well below oracle-guided focusing, showing that current VLMs struggle to determine from the stream alone when finer temporal perception is needed. FastBench provides a testbed for high-dynamic streaming video understanding. Code and data: https://github.com/Ashone3/FastBench.