Retrieval-Augmented Online Textual Memory for Episodic Memory Video Question Answering
作者: Raffaele Cali, Giuseppe Lando, Rosario Forte, Antonino Furnari
分类: cs.CV
发布日期: 2026-10-22
💡 一句话要点
提出检索增强的在线文本记忆以解决视频问答挑战
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我中心视频 多模态问答 在线文本记忆 检索机制 字幕生成 情节记忆 信息压缩 答案区分
📋 核心要点
- 长时间自我中心视频的处理面临着如何有效压缩视觉信息以支持问答的挑战。
- 本文提出了一种在线文本记忆框架，通过将视频转换为时间上有依据的字幕来增强检索能力。
- 实验结果显示，最佳配置在准确率上达到了56.4%，并揭示了检索预算对答案质量的复杂影响。
📝 摘要（中文）
长时间的自我中心视频为多模态语言模型带来了重大挑战：视觉流必须被压缩为可高效搜索的记忆表示，同时保留回答问题所需的证据。基于在线文本记忆框架，将第一人称视频转换为时间上有依据的字幕，本文系统研究了检索在情节记忆视频问答中的作用。我们评估了不同的检索单元、查询形式、上下文预算和重排序策略如何影响多选回答，隔离检索作为主要变量，同时保持生成的记忆不变。我们的最佳配置“Parent”匹配细粒度字幕子块，并向推理器提供其完整的父字幕，达到了56.4%的准确率，匹配了强大的全记忆和检索基线，同时在提问时仅暴露了小部分文本记忆。更重要的是，我们的分析表明，更好的时间覆盖并不一定转化为更好的答案：增加检索预算提高了时间命中率和召回率，但可能通过引入视觉上合理的干扰项和不确定的字幕证据来降低准确性。这些发现表明，增强自我中心记忆的检索不应仅优化证据召回，还应关注检索上下文的可靠性、特异性和答案区分价值。
🔬 方法详解
问题定义：本文旨在解决长时间自我中心视频在多模态问答中的信息压缩与检索效率问题。现有方法在保持信息完整性与检索效率之间存在矛盾。
核心思路：通过在线文本记忆框架，将视频内容转化为时间上有依据的字幕，利用检索机制提升问答性能，特别是关注检索上下文的可靠性与特异性。
技术框架：整体架构包括视频内容的字幕生成、检索单元的选择、查询形式的设计、上下文预算的设置以及重排序策略的应用，形成一个闭环的问答系统。
关键创新：最重要的创新在于提出了“Parent”配置，通过匹配细粒度字幕子块并提供完整父字幕，显著提高了问答的准确性。与现有方法相比，该方法在信息利用上更为高效。
关键设计：在参数设置上，研究了不同的检索单元和上下文预算，并通过实验验证了重排序策略对问答性能的影响，确保了在提问时仅暴露必要的文本记忆。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最佳配置“Parent”在多选问答任务中达到了56.4%的准确率，表现出色，匹配了强大的全记忆和检索基线。此外，研究揭示了检索预算对答案质量的复杂影响，强调了检索上下文的可靠性和特异性的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能视频分析、教育视频内容的自动问答系统以及人机交互中的情境理解。通过提升视频问答的准确性和效率，该技术可在多个行业中实现更智能的内容检索和用户交互，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Long egocentric videos pose a central challenge for multimodal language models: the visual stream must be compressed into a memory representation that can be searched efficiently while still preserving the evidence needed for question answering. Building on an online textual-memory framework in which first-person videos are converted into temporally grounded captions, this work systematically studies the role of retrieval in episodic-memory video question answering. We evaluate how different retrieval units, query formulations, context budgets, and reranking strategies affect multiple-choice answering on QAEgo4D-Closed, isolating retrieval as the main variable while keeping the underlying generated memory fixed. Our best configuration, Parent, matches fine-grained caption subchunks, then provides their full parent captions to the reasoner. It achieves 56.4 % accuracy, matching strong full-memory and retrieval baselines while exposing only a small fraction of the textual memory at question time. More importantly, our analysis shows that better temporal coverage does not necessarily translate into better answers: increasing the retrieval budget improves temporal Hit@K and Recall@K, but can reduce accuracy by introducing visually plausible distractors and uncertain caption evidence. These findings suggest that retrieval-augmented egocentric memory should not be optimized only for evidence recall, but also for the reliability, specificity, and answer-discriminative value of the retrieved context. The study motivates more structured episodic memories that move beyond raw caption retrieval toward evidence-aware representations for long-form egocentric reasoning.