Memory Helps, but Confabulation Misleads: Understanding Streaming Events in Videos with MLLMs
作者: Gengyuan Zhang, Mingcong Ding, Tong Liu, Yao Zhang, Volker Tresp
分类: cs.CV
发布日期: 2025-02-21
备注: Short paper (5 pages)
💡 一句话要点
提出一种基于记忆修正的多模态大语言模型，提升其在流式视频事件理解中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流式视频理解 多模态大语言模型 记忆增强 虚构修正 事件理解
📋 核心要点
- 现有的MLLM在流式视频理解中，对事件间的时序依赖关系建模不足，导致理解不准确。
- 论文提出一种记忆增强框架，利用历史事件作为上下文，提升模型对当前事件的理解能力。
- 通过引入知晓虚构的记忆修正方法，减轻错误记忆带来的负面影响，提升模型性能。
📝 摘要（中文）
多模态大语言模型(MLLMs)在整体视频理解方面表现出强大的性能，但它们处理流式视频（视频被视为一系列视觉事件）的能力仍未得到充分探索。直观地说，利用过去的事件作为记忆可以丰富对当前事件的上下文和时间理解。本文表明，利用记忆作为上下文有助于MLLMs更好地理解视频事件。然而，由于这些记忆依赖于对先前事件的预测，它们可能包含错误信息，导致虚构和性能下降。为了解决这个问题，我们提出了一种知晓虚构的记忆修改方法，以减轻虚构记忆，从而增强基于记忆的事件理解。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLMs）在理解流式视频事件时，由于依赖不准确的历史事件记忆而产生的“虚构”问题。现有方法要么忽略了事件之间的时序关系，要么简单地将所有历史事件都视为可靠信息，导致模型在遇到错误预测时性能下降。
核心思路：核心思路是利用历史事件作为记忆来增强当前事件的理解，但同时意识到这些记忆可能包含错误信息（即“虚构”）。因此，论文提出一种“知晓虚构的记忆修正”方法，旨在识别并减轻这些错误记忆对模型推理的影响。
技术框架：整体框架包含以下几个主要模块：1) 视频事件编码器：将视频帧或片段编码为视觉特征向量。2) 事件预测器：基于历史事件记忆预测当前事件。3) 记忆模块：存储和更新历史事件的表示。4) 记忆修正模块：评估历史事件记忆的可靠性，并对不可靠的记忆进行修正或过滤。5) 事件理解模块：结合修正后的记忆和当前事件的视觉特征，进行事件理解和推理。
关键创新：最重要的创新点在于“知晓虚构的记忆修正”机制。该机制能够评估历史事件记忆的可靠性，并根据评估结果对记忆进行修正。这与现有方法简单地使用所有历史事件作为上下文的方式不同，能够有效减轻错误记忆对模型性能的影响。
关键设计：具体的记忆修正方法可能包括：1) 基于注意力机制的记忆选择：根据当前事件与历史事件的相关性，选择性地关注更相关的记忆。2) 基于置信度估计的记忆过滤：为每个历史事件记忆分配一个置信度评分，并过滤掉置信度较低的记忆。3) 基于对抗训练的记忆增强：通过对抗训练，使模型能够区分真实记忆和虚构记忆，并学习如何利用真实记忆进行推理。
🖼️ 关键图片
📊 实验亮点
论文提出了一种知晓虚构的记忆修正方法，能够有效减轻错误记忆对模型性能的影响。实验结果表明，该方法在流式视频事件理解任务上取得了显著的性能提升。具体的性能数据和对比基线需要在论文中查找，但总体而言，该方法优于现有的基线方法。
🎯 应用场景
该研究成果可应用于智能监控、自动驾驶、视频摘要、视频问答等领域。通过提升模型对流式视频事件的理解能力，可以实现更准确的事件检测、行为识别和场景理解，从而提高相关应用的智能化水平和用户体验。未来，该方法还可以扩展到其他需要处理时序数据的多模态任务中。
📄 摘要（原文）
Multimodal large language models (MLLMs) have demonstrated strong performance in understanding videos holistically, yet their ability to process streaming videos-videos are treated as a sequence of visual events-remains underexplored. Intuitively, leveraging past events as memory can enrich contextual and temporal understanding of the current event. In this paper, we show that leveraging memories as contexts helps MLLMs better understand video events. However, because such memories rely on predictions of preceding events, they may contain misinformation, leading to confabulation and degraded performance. To address this, we propose a confabulation-aware memory modification method that mitigates confabulated memory for memory-enhanced event understanding.