Can 4D Foundation Models Remember?

📄 arXiv: 2609.20819v1 📥 PDF

作者: Guangzhao He, Hadar Averbuch-Elor, Wei-Chiu Ma

分类: cs.CV

发布日期: 2026-09-17

备注: Project Page: https://guangzhaohe.com/persistbench

💡 一句话要点

提出PersistBench以解决4D模型记忆能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 4D基础模型 视觉记忆 PersistBench 动态环境 评估指标

📋 核心要点

  1. 现有4D基础模型在记忆能力上存在不足，尤其是在物体离开视野后无法有效评估其记忆表现。
  2. 本文提出PersistBench数据集，利用360°视频作为真实参考，评估模型在物体持久性、运动连续性和外观保持方面的表现。
  3. 实验结果表明，当前模型仅能维持短期一致性，离开视野后性能显著下降，揭示了模型能力与视觉记忆之间的差距。

📝 摘要（中文）

感知和记忆视觉世界是我们与环境互动的基础。当前的4D基础模型，如可控视频模型或4D重建模型，能够感知和重建动态环境，但它们对所感知内容的记忆能力仍然是一个未解之谜。现有基准主要依赖像素级指标，缺乏对离开视野的物体的真实参考，无法以物体为中心评估视觉记忆。为填补这一空白，本文提出了PersistBench，一个利用360°视频作为全知真实数据集和评估指标套件，提出了物体持久性、运动连续性和外观保持三个评估方面。对多种模型的评估显示，当前模型只能维持短期一致性，一旦物体离开视野，性能显著下降。我们的研究揭示了当前模型能力与稳健视觉记忆之间的差距，为未来4D基础模型的发展提供了指导。

🔬 方法详解

问题定义：本文旨在解决当前4D基础模型在物体离开视野后的记忆能力不足问题。现有方法主要依赖像素级指标，缺乏对物体记忆的有效评估。

核心思路：提出PersistBench数据集，利用360°视频作为全知真实数据，提供物体持久性、运动连续性和外观保持的评估标准，以更全面地评估模型的视觉记忆能力。

技术框架：整体架构包括数据集构建、评估指标设计和模型评估三个主要模块。数据集通过360°视频提供真实场景，评估指标则从多个维度对模型进行评估。

关键创新：最重要的创新在于引入了360°视频作为真实参考，突破了传统方法的局限，使得对物体记忆的评估更加客观和全面。

关键设计：在评估过程中，设计了针对物体持久性、运动连续性和外观保持的具体指标，确保评估结果的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前4D模型在物体离开视野后，记忆能力显著下降，短期一致性维持在较高水平，但在物体持久性和外观保持方面表现不佳。这一发现强调了模型能力与稳健视觉记忆之间的差距，为未来研究提供了重要方向。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等场景，能够提升系统对动态环境的理解和记忆能力，进而改善人机交互体验。未来，PersistBench可能成为评估4D模型记忆能力的标准工具，推动相关技术的发展。

📄 摘要（原文）

Perceiving and remembering the visual world is fundamental to navigating and interacting with our environment. Current 4D foundation models, such as camera-controllable video models or 4D reconstruction models, can perceive and reconstruct dynamic environments, but how well they remember what they have perceived remains an open question. Existing benchmarks largely rely on pixel-level metrics and lack ground truth for objects once they leave the field of view, making them unable to evaluate visual memory in an object-centric manner against references. To fill this gap, we introduce PersistBench, a dataset and metric suite that leverages 360° videos as omniscient ground truth and proposes three evaluation aspects: object permanence, motion continuity, and appearance preservation. Evaluating various models across diverse categories reveals that current models can only maintain short-term consistency that degrades significantly once objects leave the field of view. Our findings highlight the gap between current model capabilities and robust visual memory ("seeing is not remembering"), providing guidance for future development of 4D foundation models. Dataset and code are available on the project page: https://guangzhaohe.com/persistbench.