Slot3R: Set-Associative Spatial Memory for Streaming 3D Reconstruction

📄 arXiv: 2610.12282v1 📥 PDF

作者: Xiyuan Zhang, Yanming Yang, Kaiyuan Xu, Ruibo Li, Chi Zhang

分类: cs.CV

发布日期: 2026-10-08

备注: Project Page: https://ashleyxyz.github.io/Slot-3R/

💡 一句话要点

提出Slot3R以解决流式3D重建中的空间记忆问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 流式3D重建 空间记忆 集合关联 机器人导航 增强现实

📋 核心要点

  1. 现有方法Point3R在流式3D重建中将空间邻近性用于状态身份的关联和合并，导致信息丢失。
  2. Slot3R提出了一种训练无关的集合关联方法，允许在同一地址下共存多个状态，从而避免信息混淆。
  3. 在300-500帧的实验中，Slot3R在多个基准上显著降低了点云精度误差和绝对轨迹误差，且运行效率高。

📝 摘要（中文）

流式3D重建需要在处理扩展场景的同时保留每帧的证据。空间记忆通过按重建的3D位置组织历史信息，成为自然选择。然而，现有方法Point3R将空间邻近性用于关联新观察与现有记忆条目，导致合并时混淆状态身份。Slot3R提出了一种训练无关的集合关联方法，允许多个状态在共享地址下共存，同时保持预训练的Point3R骨干网络不变。实验结果表明，Slot3R在多个基准测试中显著降低了点云精度误差和绝对轨迹误差，并在视频深度估计中保持竞争力。

🔬 方法详解

问题定义：论文要解决流式3D重建中如何有效管理空间记忆的问题。现有方法Point3R在关联新观察与记忆条目时，混淆了空间邻近性与状态身份，导致信息丢失。

核心思路：Slot3R的核心思路是采用集合关联的方法，使得多个状态可以在同一地址下共存，而不是简单地合并，从而保留更多的证据信息。

技术框架：Slot3R的整体架构包括一个预训练的Point3R骨干网络和一个新的集合关联模块。该模块负责管理和存储来自不同观察的状态信息，同时保持高效的解码过程。

关键创新：Slot3R的主要创新在于其训练无关的集合关联机制，允许在同一空间地址下存储多个状态，与Point3R的设计形成鲜明对比。

关键设计：在设计中，Slot3R采用了有界稀疏读出机制，进一步解耦了持久存储与每帧解码器的访问，确保了高效的内存使用和处理速度。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Slot3R在300-500帧的实验中，相较于Point3R，点云精度误差降低了57.1%-63.1%（7Scenes）和64.0%-72.0%（NeuralRGBD），同时在所有三个姿态基准上降低了Sim(3)-对齐的绝对轨迹误差，且在600到1000帧的设置下以约19 FPS的速度完成任务。

🎯 应用场景

该研究在流式3D重建、机器人导航、增强现实等领域具有广泛的应用潜力。通过提高重建精度和处理效率，Slot3R能够为实时场景理解和交互提供更可靠的支持，推动相关技术的发展。

📄 摘要（原文）

Streaming 3D reconstruction must preserve evidence from each frame while processing an expanding scene online. Spatial memory is a natural fit because it organizes history by reconstructed 3D location. Yet Point3R uses spatial proximity both to associate a new observation with an existing memory entry and to decide whether to fuse it, conflating co-location with state identity. Because pointers summarize image patches, nearby pointers may encode distinct surfaces, viewpoints, or visibility conditions; averaging them can destroy complementary evidence before later frames disambiguate it. We argue that location should determine address, not whether observations must merge. Slot3R realizes this principle as a training-free, set-associative retrofit that lets multiple states coexist at a shared address while keeping the pretrained Point3R backbone frozen. A bounded sparse readout further decouples persistent storage from per-frame decoder access. At 300-500 sampled frames, Slot3R reduces Point3R's point-cloud accuracy error (Acc) by 57.1%-63.1% on 7Scenes and 64.0%-72.0% on NeuralRGBD, lowers Sim(3)-aligned absolute trajectory error (ATE) on all three pose benchmarks, and remains competitive on video-depth estimation. It completes all evaluated settings from 600 to 1000 sampled frames at about 19 FPS under the same protocol, whereas Point3R and InfiniteVGGT run out of memory at 800 frames and beyond.