4DMemory: Benchmarking Long-Horizon Spatiotemporal Memory with Harness-Augmented Agents

📄 arXiv: 2610.32332v1 📥 PDF

作者: Yanhao Jia, Yi Zhu, Yiran Zhong, Weigao Sun, Feida Zhu, Pengkun Jiao, Sihan Yang, Ming Ma, Steven Hoi, Erik Cambria

分类: cs.CV, cs.AI, cs.CL, cs.MM

发布日期: 2026-10-23

备注: 22 pages, 5 figures

💡 一句话要点

提出4DMemory以解决长时空记忆评估问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 时空推理 多模态数据 模型评估 增强学习

📋 核心要点

  1. 现有基准主要集中在短期和中期任务，缺乏对长时空记忆的有效评估，导致基础模型在长时任务中表现不佳。
  2. 本文提出LongVideo数据集和4DMemoryBench，旨在通过引入长时空推理的评估标准来提升模型性能。
  3. 实验结果表明，使用4DMemory Harness后，所有评估模型的性能提升超过50%，相比于之前基准，性能下降超过10%。

📝 摘要（中文）

人类能够高效处理跨越数小时到数年的多模态信息流，建立持久的、细粒度的时空记忆，以支持对长时事件的推理和预测。然而，现有基准主要集中在短期和中期任务，大多数基础模型在长时间范围内难以保持细粒度信息。为评估和改善长时空推理能力，本文引入了LongVideo数据集和4DMemoryBench。LongVideo包含约900小时的视频和超过5000个经过人工审核的问题，涵盖视觉、文本和时空推理。我们进一步开发了4DMemory Harness，集成了四种互补技能、22个以上的专用工具模型和特定模型的检索增强生成系统。评估13个领先模型后发现，单独的基础模型在长时任务上表现不佳，而4DMemory Harness使所有模型的性能提升超过50%。

🔬 方法详解

问题定义：本文旨在解决现有模型在长时空推理任务中的表现不足，尤其是在保持细粒度信息方面的挑战。现有方法多集中于短期任务，导致长时任务的评估缺乏有效标准。

核心思路：论文提出LongVideo数据集和4DMemoryBench，以提供丰富的长时空推理数据，并通过4DMemory Harness集成多种技能和工具模型，提升模型在长时任务中的表现。

技术框架：整体架构包括数据集构建、模型评估和4DMemory Harness的设计。数据集提供多模态信息，模型评估则通过4DMemoryBench进行，Harness则集成了多种工具和技能以增强模型能力。

关键创新：最重要的创新在于4DMemory Harness的设计，它结合了多种互补技能和专用工具模型，显著提升了模型在长时任务中的表现，与现有方法相比，提供了更为系统的解决方案。

关键设计：在设计中，Harness集成了22个以上的专用工具模型，并采用检索增强生成系统，以确保在长时任务中能够有效利用历史信息和上下文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用4DMemory Harness后，所有评估的13个模型在长时任务中的性能提升超过50%。相比于之前的基准，模型在4DMemoryBench上的表现下降超过10%，突显了新方法的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括智能视频分析、自动化问答系统和长时事件预测等。通过提升模型在长时空推理任务中的表现，4DMemory有望推动智能代理的发展，使其能够处理更复杂的任务，具有更广泛的实际价值和影响力。

📄 摘要（原文）

Humans efficiently process multimodal streams spanning hours to years, building persistent, fine-grained spatiotemporal memories that support reasoning about and predicting long-horizon events. In contrast, existing benchmarks focus on short- and medium-context tasks, and most foundation models struggle to preserve fine-grained information over long horizons. To evaluate and improve long-horizon spatiotemporal reasoning, we introduce the LongVideo dataset and the 4DMemoryBench. LongVideo comprises about 900 hours of video and over 5,000 manually reviewed questions covering visual, textual, and spatiotemporal reasoning across diverse context lengths. We further develop the 4DMemory Harness, which integrates four complementary skills, 22+ specialized tool models, and a model-specific retrieval-augmented generation system. Evaluating 13 leading models, we find that standalone foundation models struggle with long-horizon tasks, while the 4DMemory Harness improves all of them by over 50\%. Compared to previous benchmark, the same models exhibit a performance drop of more than 10\% on 4DMemoryBench. We hope 4DMemory will facilitate the development of spatiotemporal agents capable of addressing complex, long-horizon tasks.