Grid or Nodes? Probing Object Memory in World Models Under Partial Observability

📄 arXiv: 2610.18637v1 📥 PDF

作者: Justin McMillen, Yasin Yilmaz

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出FloWM以解决机器人部分可观测环境中的物体记忆问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物体记忆 部分可观测性 动态追踪 空间特征网格 机器人智能 Kalman跟踪 自主决策

📋 核心要点

  1. 现有方法在部分可观测环境中难以有效记住离开视野的物体，导致物体追踪精度不足。
  2. 论文提出FloWM，通过空间特征网格和内置速度来增强物体记忆能力，改善对动态物体的追踪。
  3. 实验结果显示，FloWM在视野外物体的探测率达到89%，显著高于传统节点记忆的66%。

📝 摘要（中文）

机器人在部分可观测环境中需要记住离开摄像头视野的物体。FloWM是一种学习的世界模型，通过一个空间特征网格来存储物体，并以五种内置速度进行移动。与之相比，节点记忆则以数值形式保持每个物体的位置和速度。通过在FloWM的块世界中进行比较，发现FloWM的探测器在找回视野外的物体时表现更佳，且在视野内的得分也更高。这些结果表明，FloWM在物体记忆和预测方面具有显著优势。

🔬 方法详解

问题定义：本文旨在解决机器人在部分可观测环境中如何有效记住离开视野的物体的问题。现有的节点记忆方法在处理动态物体时存在精度不足和效率低下的痛点。

核心思路：论文提出的FloWM模型通过使用空间特征网格来存储物体信息，并结合内置的多种速度进行物体追踪，从而提高了对动态物体的记忆和预测能力。

技术框架：FloWM的整体架构包括一个空间特征网格、内置速度模块和探测器。模型通过不断更新网格中的物体信息，来实现对物体位置和速度的动态追踪。

关键创新：最重要的技术创新在于使用空间特征网格替代传统的节点记忆，使得模型能够更有效地处理动态物体的记忆和预测问题。与现有方法相比，FloWM在物体探测和记忆的准确性上有显著提升。

关键设计：在模型设计中，关键参数包括网格的大小和内置速度的数量。此外，损失函数的设计也考虑了物体位置和速度的动态变化，以提高模型的适应性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，FloWM在视野外物体的探测率达到89%，而传统节点记忆的探测率仅为66%。在视野内，FloWM的得分比传统方法高出8分，显示出其在动态物体追踪中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能监控系统和增强现实等。通过提高机器人在动态环境中的物体记忆能力，能够显著提升其自主决策和导航能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

A robot's world model must remember objects that leave the camera's view. FloWM, a learned world model, keeps them in a spatial grid of features that it moves with five built-in velocities. A node memory instead keeps each object's position and velocity as numbers. We compare them in FloWM's own block world, with an oracle-fed Kalman tracker as the node memory. How the grid is read changes its score: a single-cell probe finds 66% of out-of-view blocks, while FloWM's own probe 89%. FloWM also scores 8 points higher in view although no frame is shown, which we attribute to its write-back of its own predictions. Out of view, the tracker reaches FloWM's range in 14KB against 5.6MB, with no probe. On diagonal motion, outside its five velocities, FloWM finds 11% of blocks even after fine-tuning, while the unchanged tracker keeps 93%. Faster blocks defeat both until one more allowed speed takes the tracker to 94%, where FloWM's built-in shifts would need 25 copies of its grid. A learned node memory must still replace the oracles and handle velocity under noise, long gaps, and the bounce.