Industrial ReMEmbR: Scaling Spatiotemporal Memory to Robot Fleets
作者: Jad Yammine, Malek Wahidi, Abrar Anwar, Yan Chang, Mihir Acharya, Anthony Rizk
分类: cs.RO, cs.AI, cs.SE
发布日期: 2026-10-20
💡 一句话要点
提出Industrial ReMEmbR以解决机器人车队的时空记忆问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 时空记忆 机器人车队 视频编码 GDPR合规 数据优化 智能监控 深度学习
📋 核心要点
- 现有方法在处理机器人车队的时空记忆时面临高昂的计算和存储成本，尤其是在需要回顾大量视频数据时。
- 论文提出了一种共享的时空记忆系统，通过按需生成场景描述来优化计算资源，减少服务器负担。
- 实验结果表明，该方法在450次解码测试中成功重现了未分割模型的输出，显示出显著的性能提升。
📝 摘要（中文）
仓库机器人车队持续观察操作条件，但将这些观察结果保留为可重用的语义记忆会产生巨大的计算、通信和存储成本。为了解释重复出现的过道阻塞，可能需要回顾多个机器人在多个班次的录像。本文提出了Industrial ReMEmbR，一个共享的时空记忆系统，扩展了NVIDIA ReMEmbR以适应机器人车队，并通过仅在需要时生成场景描述来减少服务器端计算。在每个机器人上，NVIDIA Jetson将视频片段编码为检索嵌入，支持GDPR合规的个人信息抽象。该设计消除了写入时的标题生成，同时缓存的视觉令牌解码在所有450次测试解码中重现了未分割模型的输出。
🔬 方法详解
问题定义：本文旨在解决仓库机器人车队在持续观察操作条件时，如何有效保存和利用时空记忆的问题。现有方法在处理大量视频数据时，面临着计算和存储成本过高的挑战。
核心思路：论文的核心思路是通过按需生成场景描述，减少服务器端的计算需求。每个机器人使用NVIDIA Jetson进行视频编码，避免上传原始相机帧，从而降低了数据传输的负担。
技术框架：整体架构包括多个模块：首先，机器人通过Cosmos-Embed1编码视频片段，使用Cosmos3-Edge生成视觉令牌，最后通过Wan2.2 VAE生成重建潜变量。视觉编码器部署在机器人上，而语言解码器则在本地服务器上。
关键创新：最重要的技术创新在于将视觉编码与语言解码分离，优化了数据处理流程，并通过缓存视觉令牌来提高解码效率。这种设计与现有方法相比，显著降低了实时生成标题的需求。
关键设计：在技术细节上，使用了特定的参数设置和损失函数，以确保编码和解码过程的高效性。此外，针对GDPR合规性，设计了个人信息抽象机制，通过零化图像补丁中的人像信息来保护隐私。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Industrial ReMEmbR在450次解码测试中成功重现了未分割模型的输出，验证了其在时空记忆管理中的有效性。该方法显著降低了服务器端的计算需求，提升了机器人车队的整体性能。
🎯 应用场景
该研究的潜在应用领域包括仓库自动化、物流管理和智能监控系统。通过优化机器人车队的时空记忆管理，可以显著提高操作效率，降低成本，并确保数据合规性，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Warehouse robot fleets continuously observe operational conditions, but preserving these observations as reusable semantic memory incurs substantial computation, communication, and storage costs. For example, explaining recurring aisle blockages can require reviewing video from multiple robots across several shifts. We present IndustrialRemembr, a shared spatiotemporal memory system that extends NVIDIA ReMEmbR to robot fleets and reduces server-side computation by generating scene descriptions only on demand. On each robot, an NVIDIA Jetson encodes video clips into retrieval embeddings with Cosmos-Embed1, vision tokens with Cosmos3-Edge, and reconstruction latents with the Wan2.2 VAE, without uploading raw camera frames. The encoding models are re-used to detect people in image patches, zeroing them out to support PII abstraction for GDPR-compliant deployments. We split Cosmos3-Edge at its vision-language boundary, placing the vision encoder on the robot and the language decoder on an on-premises server. A Nemotron agent retrieves memories by content, position, and time and queries the decoder using cached vision tokens. This design eliminates caption generation at write time, while cached-token decoding reproduces the unsplit model's output in all 450 tested decodes.