Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos
作者: Fangzhou Ma, Ivo Alexander Ban, Eren Homburg, Gabriele Goletto, Rémi Pautrat, Mahdi Rad, Chiara Plizzari, Marc Pollefeys
分类: cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出Beyond3D基准以解决动态视频中的物体出视推理问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态视频理解 时空推理 视觉问答 物体跟踪 增强现实 家庭机器人 可见性轨迹 多模态学习
📋 核心要点
- 核心问题：现有方法在处理物体出视后的状态更新和位置推理方面存在显著不足，导致推理能力受限。
- 方法要点：论文提出了Beyond3D基准，通过构建可见性轨迹来评估物体在动态视频中的出视推理能力。
- 实验或效果：基准测试显示，最佳模型在任务中的准确率为42.2%，显著高于随机猜测的29.7%和文本基线的31.9%。
📝 摘要（中文）
现实世界的人工智能系统必须能够推理那些不再可见的物体，例如AR助手引导用户回到之前使用的物体，或家庭机器人取回某个被放置的物品。这需要不仅仅是回忆物体最后一次出现的位置，还要在物体移动时更新其状态，并在物体离开视野后保持该更新。我们提出了Beyond3D，这是第一个专注于动态自我中心视频中这一能力的视觉问答基准，包含9000个问题，涵盖135个视频，旨在评估当前视觉语言模型（VLM）在这一领域的表现。
🔬 方法详解
问题定义：本论文旨在解决动态视频中物体出视后的时空推理问题。现有方法在物体状态更新和位置推理方面存在显著不足，尤其是在物体离开视野后，无法有效追踪其运动状态。
核心思路：论文提出的核心思路是构建一个新的基准Beyond3D，专注于动态自我中心视频中的物体出视推理能力。通过构建可见性轨迹，系统能够在物体被移动并离开视野后，仍然进行有效的推理。
技术框架：Beyond3D的整体架构包括四个主要模块：视觉定位（判断目标当前是否可见）、时间定位（确定目标最后一次可见和放置的时间）、场景定位（识别锚定该位置的固定装置）以及三维空间感知（确定目标相对于当前视点或场景中其他物体的位置）。
关键创新：最重要的技术创新在于引入了动态视频中的可见性轨迹构建方法，使得模型能够在物体出视后仍然进行有效的状态更新和推理。这一方法与现有的静态视频推理方法本质上不同，后者无法处理物体的动态变化。
关键设计：在设计中，论文使用了HD-EPIC注释数据来构建问题，确保每个问题都针对已被重新定位并离开视野的物体。此外，模型的训练过程中采用了特定的损失函数，以优化在动态环境中的推理能力。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳模型在Beyond3D基准测试中的准确率达42.2%，显著高于随机猜测的29.7%和文本基线的31.9%。这一结果表明，尽管当前VLM在物体出视推理方面仍存在较大挑战，但已有模型在此任务上取得了一定的进展。
🎯 应用场景
该研究的潜在应用领域包括增强现实（AR）助手、家庭机器人以及其他需要动态物体识别和跟踪的智能系统。通过提升物体出视推理能力，系统能够更好地服务于用户，提供更智能的交互体验，未来可能在智能家居和人机协作等领域产生深远影响。
📄 摘要（原文）
Real-world AI systems must reason about objects that are no longer visible: an AR assistant guiding a user back to an object used earlier, a household robot retrieving an item someone put away. This requires not just recalling where an object was last seen, but updating its state when it is moved and retaining that update once it leaves view. We refer to this as out-of-sight spatiotemporal reasoning. We introduce Beyond3D, the first VQA benchmark to isolate this ability in dynamic egocentric video: every query targets an object that has been relocated and has since left the field of view. We create our questions from HD-EPIC annotations, building a visibility track for each dynamic object from its 3D position, the camera pose, and the scene geometry to understand at each moment whether it is visible, occluded, or out of view. Beyond3D comprises 9,000 questions in eight types over 135 videos from nine participants, organized as one reasoning chain: visual grounding (is the target observable now), temporal grounding (when it was last visible and last placed), scene localization (which fixture anchors that location), and 3D spatial perception (where it lies relative to the current viewpoint or another object in the scene). We benchmark nine general-purpose and spatially specialized VLMs. The best model reaches 42.2% against 29.7% chance and text-only baselines reaching 31.9%, with the largest failures in recovering when an object was last visible, showing that tracking object movement out of sight remains far from solved for current VLMs.