Memory as Weights: Internalizing Long-Term History for Streaming Videos

📄 arXiv: 2610.22070v1 📥 PDF

作者: Zhuoming Liu, Jinhong Lin, Lin Zhang, Yiwu Zhong, Yin Li

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出MaLoW框架以解决流媒体视频中的长期历史信息整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流媒体视频理解 记忆机制 多模态学习 轻量级参数更新 历史信息整合 递归超网络 LoRA权重 数据集构建

📋 核心要点

  1. 现有的流媒体视频理解方法在整合历史信息时面临竞争上下文的问题，导致性能下降。
  2. 本文提出的MaLoW框架通过将历史信息内化为轻量级的参数更新，避免了对完整视频流的重新访问。
  3. 实验结果显示，MaLoW在多个基准测试中超越了传统记忆方法，提升幅度在3.9%至11.8%之间，同时延迟增加有限。

📝 摘要（中文）

流媒体视觉语言模型（VLMs）需要在响应当前观察和用户查询的同时，持续整合过去的信息。现有的记忆机制通常需要压缩、检索或缓存历史观察，并将其重新引入输入上下文中，导致历史记忆与当前观察之间的竞争。本文提出了MaLoW，一个流媒体记忆框架，通过将历史上下文内化为轻量级参数更新，避免了对完整视频流的重新访问。MaLoW利用递归超网络将输入的视频观察逐步整合为固定大小的LoRA权重，从而实现历史信息的传递。为支持训练，本文还构建了MaLoW-Instruct，一个包含381K问答对的流媒体视频数据集。实验表明，MaLoW在多个基准测试中表现优异，显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中历史信息整合的挑战。现有方法通常需要在历史记忆和当前观察之间进行竞争，导致信息整合效率低下。

核心思路：MaLoW框架的核心思想是将历史上下文内化为轻量级的参数更新，而不是简单地缓存或检索历史信息。这种设计使得历史信息能够在不重新访问完整视频流的情况下被有效利用。

技术框架：MaLoW采用递归超网络结构，将输入的视频观察逐步整合为固定大小的LoRA权重。整体流程包括接收视频输入、更新权重和生成输出。

关键创新：MaLoW的主要创新在于将历史信息表示为权重，而当前观察则作为输入。这一方法显著减少了对历史信息的竞争，提高了流媒体处理的效率。

关键设计：在技术细节上，MaLoW使用了固定大小的LoRA权重来存储历史信息，并通过递归超网络进行动态更新。此外，构建了大规模的流媒体视频数据集MaLoW-Instruct，以支持模型训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，MaLoW在OVO-Bench的向后分割上超越了以往的记忆方法，提升幅度在3.9%至11.8%之间，同时仅增加了有限的延迟。此外，MaLoW在视觉-语言-行动模型中也表现出色，提升了Simper WidowX的行动成功率9.3%。

🎯 应用场景

该研究的潜在应用领域包括流媒体视频分析、智能监控、自动化内容生成等。通过有效整合历史信息，MaLoW能够提升多模态系统的理解能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Streaming vision-language models (VLMs) must continuously integrate information from the past while remaining responsive to current observations and user queries. Existing memory mechanisms typically compress, retrieve, or cache historical observations and reintroduce them into the input context, forcing historical memory and current observations to compete for limited context. We propose MaLoW, a streaming memory framework that instead internalizes historical context into evolving lightweight parameter updates. MaLoW uses a recurrent HyperNetwork to incrementally consolidate incoming video observations into fixed-size LoRA weights, allowing historical information to be carried forward without revisiting the full video stream. In doing so, MaLoW represents history as weights, while keeping the current observation as input. To support training, we further construct MaLoW-Instruct, a large-scale streaming video dataset containing 381K question-answer pairs over 56K videos. We conduct extensive experiments to demonstrate that MaLoW achieves strong performance on OVO-Bench, StreamingBench, and StreamArena. On the backward split of OVO-Bench, MaLoW outperforms prior memory approaches by 3.9% to 11.8% across different video backbones while incurring only modest latency overhead. Beyond streaming video understanding, MaLoW also generalizes to vision-language-action models, improving the action success rate on Simpler WidowX by 9.3%.