MemAct: Streaming Spatial Understanding with Memory and Active Exploration
作者: Yuxi Wei, Wei Huang, Qirui Chen, Lu Hou, Xiaojuan Qi
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出MemAct框架以解决流式空间理解中的记忆与主动探索问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流式空间理解 记忆机制 主动探索 视觉-语言模型 智能体推理
📋 核心要点
- 现有流式空间理解方法主要集中于处理新到达的观察数据，缺乏对任务驱动的主动探索的关注。
- MemAct框架通过结合记忆和行动，允许智能体在流式推理中回忆历史观察并主动获取新证据。
- 实验结果显示，MemAct在MemAct-bench上超越了现有基线，并在多模态模型中表现出色，同时保持流式推理的高效性。
📝 摘要（中文）
空间理解对于在物理世界中导航和交互的具身智能体至关重要。随着观察数据的逐步到达，智能体必须以流式方式进行推理。然而，流式理解还必须是闭环的：任务相关的证据可能需要回忆过去的观察并主动获取新视角。本文提出了MemAct，一个结合记忆和行动的流式空间理解框架。该框架通过共享的视觉-语言模型逐步记录结构化的历史记忆，按需检索记录和过去的帧，并通过移动和转向获取额外证据。实验表明，MemAct在流式推理效率上保持优势，同时在MemAct-bench上超越了现有的空间理解和流式基线。
🔬 方法详解
问题定义：本文旨在解决流式空间理解中的记忆与主动探索问题。现有方法往往忽视了任务驱动的主动探索，导致智能体在处理新观察时缺乏对历史信息的有效利用。
核心思路：MemAct框架的核心思路是通过共享的视觉-语言模型，逐步记录和检索历史记忆，同时通过智能体的运动和转向主动获取新证据，从而实现闭环推理。
技术框架：MemAct的整体架构包括历史记忆的结构化记录、按需检索的机制以及通过运动获取新证据的模块。智能体在每一步决策中都能利用历史信息和当前观察进行推理。
关键创新：MemAct的主要创新在于将记忆写入和主动探索结合在一起，形成一个统一的推理循环。这一设计使得智能体能够在动态环境中更有效地进行空间理解。
关键设计：在技术细节上，MemAct采用了监督微调的方法来优化记忆和交互，同时使用反事实行动优化来平衡证据增益、行动成本和最终答案质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MemAct在MemAct-bench上超越了现有的空间理解和流式基线，尤其在处理历史证据和主动探索方面表现突出，具体性能提升幅度达到XX%（具体数据待补充）。
🎯 应用场景
MemAct框架在机器人导航、自动驾驶、虚拟助手等领域具有广泛的应用潜力。通过提升智能体的空间理解能力，能够更好地支持复杂环境中的决策和交互，进而推动智能体在实际应用中的表现和效率。
📄 摘要（原文）
Spatial understanding is essential for embodied agents navigating and interacting with the physical world. As observations arrive incrementally, agents must reason in a streaming manner. Yet streaming understanding must also be closed-loop: task-relevant evidence may require both recalling past observations and actively acquiring new views. Existing streaming approaches largely emphasize processing incoming observations, leaving task-driven active exploration underexplored. We introduce MemAct, a framework for streaming spatial understanding with memory and action. A shared vision--language model incrementally writes structured historical memory, retrieves records and past frames on demand, and acquires additional evidence through movement and turning. Retrieved evidence and action observations inform subsequent decisions, enabling the agent to continue exploring or answer within a unified reasoning loop. We develop the MemAct suite, a data generation pipeline and collection across real and simulated environments, with approximately 1M training examples for spatial reasoning, memory writing, retrieval, and exploration. Its MemAct-bench comprises 20,000 main QA pairs evaluating current-observation understanding, historical evidence use, and active exploration, plus 2,000 separate Timing questions. MemAct combines supervised fine-tuning for memory and interaction with counterfactual action optimization using cumulative evidence gains, action costs, and terminal answer quality to improve exploration and stopping decisions. Experiments show that MemAct outperforms existing spatial understanding and streaming baselines and approaches frontier multimodal models on MemAct-bench while retaining streaming inference efficiency.