When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs

📄 arXiv: 2609.37345v1 📥 PDF

作者: Xiang Hu, Jiazuo Yu, Lu Zhang, Yunzhi Zhuge, Huchuan Lu

分类: cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出WRWS框架以解决视频理解中的不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 不确定性自适应 证据选择 多模态融合 视频大语言模型

📋 核心要点

  1. 现有方法在处理流媒体视频时面临证据选择的挑战，尤其是在时间和语义相关性之间的平衡。
  2. WRWS框架通过不确定性自适应证据分配，结合轻量级视觉-语言编码器和自适应分配模块，提供了一种新的解决方案。
  3. 实验结果显示，WRWS在多个Video-LLM家族和模型规模上表现出色，显著提高了效率和准确性。

📝 摘要（中文）

流媒体视频理解要求视频大语言模型（Video-LLMs）在因果约束下对连续视觉流进行推理。随着视觉历史的增长，有限的视觉处理预算需要在时间的近期性与查询的相关性之间进行证据选择。仅选择最近的证据可能会排除潜在的相关历史证据，而仅依赖语义检索则可能在相关性评分模糊时取代有用的近期上下文。我们提出了WRWS（何时检索，何时保留），这是一个无训练的框架，用于不确定性自适应证据分配。轻量级的外部视觉-语言编码器对观察历史中的查询相关性进行评分，而自适应分配模块利用相似性分布的归一化熵作为检索不确定性的代理。WRWS在相关性线索可靠时偏向语义检索，而在不确定性下加强近期优先。实验表明，WRWS在StreamingBench和OVO-Bench上展示了竞争性的准确性，并将平均视觉到答案的时间减少至最先进方法的47.93%。

🔬 方法详解

问题定义：本论文旨在解决流媒体视频理解中证据选择的挑战，现有方法往往在时间的近期性与历史相关性之间难以平衡，导致信息丢失或处理效率低下。

核心思路：WRWS框架通过引入不确定性自适应证据分配机制，利用查询相关性评分和相似性分布的熵来指导证据选择，从而在不同情况下灵活调整检索策略。

技术框架：WRWS的整体架构包括两个主要模块：外部视觉-语言编码器用于评分查询相关性，自适应分配模块则根据相似性分布的熵进行证据选择。该框架采用“先检索，后编码”的流程，确保只有选定的观察被输入到目标Video-LLM中。

关键创新：WRWS的核心创新在于其训练自由的设计和不确定性自适应机制，使其能够在不同的上下文中灵活选择证据，显著提高了处理效率和准确性。

关键设计：在设计上，WRWS使用了轻量级的外部编码器，并通过归一化熵来评估检索不确定性，确保在相关性线索不明确时能够优先考虑近期信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WRWS在StreamingBench和OVO-Bench上实现了竞争性的准确性，同时将平均视觉到答案的时间降低至47.93%的最先进方法，显示出显著的效率提升。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在实时视频分析、智能监控和自动驾驶等领域。通过提高视频理解的效率和准确性，WRWS能够为多模态交互和决策支持系统提供更强大的技术支持，推动相关领域的进一步发展。

📄 摘要（原文）

Streaming video understanding requires Video Large Language Models (Video-LLMs) to reason over continuous visual streams under causal constraints. As the visual history grows, a bounded visual?processing budget requires evidence selection that balances temporal recency with query relevance. Recent-only selection excludes potentially relevant historical evidence, whereas Semantic-only retrieval can displace useful recent context when relevance scores are ambiguous. We introduce WRWS (When to Retrieve, When to Stay), a training-free framework for uncertainty-adaptive evidence allocation. A lightweight external vision-language encoder scores query relevance across the observed history, while an adaptive allocation module uses the normalized entropy of the similarity distribution as a proxy for retrieval uncertainty. WRWS favors semantic retrieval when relevance cues are reliable and strengthens the recency prior under uncertainty. Following a retrieve-first, encode-later pipeline, WRWS selects evidence before target-model visual encoding, such that only the selected observations are processed by the costly target Video-LLM. Experiments across four Video-LLM families and multiple model scales demonstrate competitive accuracy on StreamingBench and OVO-Bench. In our efficiency evaluation, WRWS reduces average vision-to-answer time to 47.93% of the state-of-the-art method. Code will be released.