HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

📄 arXiv: 2601.14724v1 📥 PDF

作者: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-01-21

💡 一句话要点

提出HERMES，利用分层KV缓存实现高效流式视频理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流式视频理解 分层KV缓存 实时推理 多模态大语言模型 视频分析

📋 核心要点

  1. 现有MLLM在流式视频理解中面临性能、实时性和内存开销的挑战。
  2. HERMES将KV缓存视为分层记忆，通过重用紧凑的KV缓存实现高效流式理解。
  3. 实验表明，HERMES在保证精度的前提下，显著提升了推理速度并降低了资源消耗。

📝 摘要（中文）

本文提出HERMES，一种新颖的、无需训练的架构，用于实时和准确地理解视频流。现有的多模态大语言模型（MLLMs）在离线视频理解方面取得了显著进展，但将其扩展到流式视频输入仍然具有挑战性，因为现有模型难以同时保持稳定的理解性能、实时响应和低GPU内存开销。HERMES基于对注意力机制的深入研究，将KV缓存概念化为一个分层记忆框架，该框架封装了跨多个粒度的视频信息。在推理过程中，HERMES重用一个紧凑的KV缓存，从而能够在资源约束下实现高效的流式理解。值得注意的是，HERMES在用户查询到达时不需要额外的计算，从而保证了连续视频流交互的实时响应，与之前的SOTA相比，TTFT（首个token生成时间）提高了10倍。即使与均匀采样相比，视频token减少高达68%，HERMES在所有基准测试中都实现了优越或相当的准确性，在流式数据集上获得了高达11.4%的收益。

🔬 方法详解

问题定义：现有方法在处理流式视频理解时，难以兼顾理解性能、实时响应和GPU内存开销。尤其是在资源受限的环境下，如何高效地利用视频信息，保证实时性和准确性是一个关键问题。现有方法通常需要大量的计算资源，并且在处理连续的视频流时，难以保证低延迟。

核心思路：HERMES的核心思路是将KV缓存视为一种分层记忆结构，它可以捕获不同粒度的视频信息。通过有效地组织和重用KV缓存，HERMES能够在资源约束下实现高效的流式视频理解。这种分层结构允许模型关注重要的视频片段，从而减少计算量，提高推理速度。

技术框架：HERMES的整体架构包括视频编码器、分层KV缓存管理器和解码器。视频编码器将视频帧转换为视觉特征。分层KV缓存管理器负责组织和更新KV缓存，它根据视频内容的重要性，将信息存储在不同的层级中。解码器利用分层KV缓存中的信息，生成对视频内容的理解。

关键创新：HERMES的关键创新在于将KV缓存视为一种分层记忆结构，并设计了一种高效的KV缓存管理策略。与传统的KV缓存方法不同，HERMES能够根据视频内容的重要性，动态地调整KV缓存的分配，从而提高资源利用率。此外，HERMES在处理用户查询时，不需要额外的计算，从而保证了实时响应。

关键设计：HERMES的关键设计包括：1) 分层KV缓存的层数和大小；2) KV缓存的更新策略，例如，如何选择重要的视频片段进行存储；3) 解码器如何利用分层KV缓存中的信息。论文中可能还涉及特定的损失函数，用于优化模型的性能，以及特定的网络结构，用于实现高效的视频编码和解码。这些细节需要参考论文的具体实现。

📊 实验亮点

HERMES在多个视频理解基准测试中取得了优异的性能。与之前的SOTA方法相比，HERMES在保证精度的前提下，实现了10倍的TTFT加速。即使视频token减少高达68%，HERMES仍然能够保持或超过现有方法的准确率，在流式数据集上获得了高达11.4%的性能提升。这些结果表明，HERMES是一种高效且实用的流式视频理解解决方案。

🎯 应用场景

HERMES具有广泛的应用前景，例如智能监控、实时视频分析、视频会议、自动驾驶等领域。它可以用于实时识别视频中的事件、行为和对象，从而为各种应用提供智能化的支持。通过降低计算资源的需求，HERMES使得在边缘设备上部署复杂的视频理解模型成为可能，从而实现更广泛的应用。

📄 摘要（原文）

Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10$\times$ faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.