MosaicThinker: On-Device Visual Spatial Reasoning for Embodied AI via Iterative Construction of Space Representation
作者: Haoming Wang, Qiyao Xue, Weichen Liu, Wei Gao
分类: cs.CV, cs.AI
发布日期: 2026-02-06
💡 一句话要点
MosaicThinker：通过迭代构建空间表征，增强具身AI设备上的视觉空间推理能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身AI 视觉空间推理 视觉语言模型 全局语义地图 空间表征
📋 核心要点
- 现有的视觉语言模型在空间推理方面能力不足，尤其是在涉及跨多个视频帧的复杂空间关系时，缺乏3D空间信息的知识。
- MosaicThinker通过迭代构建全局语义地图，整合多帧空间信息，并利用视觉提示引导VLM进行空间推理，从而提升空间推理能力。
- 实验结果表明，MosaicThinker能够显著提升资源受限的具身AI设备在跨帧空间推理任务上的准确性，适用于多种类型和复杂度的任务。
📝 摘要（中文）
本文提出了一种新的推理时计算技术MosaicThinker，用于增强设备端小型视觉语言模型(VLM)在跨帧空间推理任务上的能力。该方法的核心思想是将来自多个帧的碎片化空间信息整合到一个统一的全局语义地图空间表征中，并通过视觉提示引导VLM对该语义地图进行空间推理。实验结果表明，该技术能够显著提高资源受限的具身AI设备在各种类型和复杂度的跨帧空间推理任务上的准确性。
🔬 方法详解
问题定义：论文旨在解决具身AI设备上，视觉语言模型(VLM)在跨帧空间推理任务中表现不佳的问题。现有VLM由于缺乏3D空间信息知识，难以处理涉及复杂空间关系的多帧推理任务，尤其是在资源受限的设备上，性能瓶颈更加明显。
核心思路：MosaicThinker的核心思路是将来自多个视频帧的碎片化空间信息整合为一个统一的全局语义地图。通过迭代地构建和更新这个语义地图，模型能够逐渐获得对场景的完整空间理解。然后，利用视觉提示引导VLM基于该语义地图进行空间推理，从而提高推理的准确性和效率。
技术框架：MosaicThinker主要包含以下几个阶段：1) 帧特征提取：从每个视频帧中提取视觉特征。2) 空间信息整合：将提取的特征信息整合到全局语义地图中，通过迭代更新的方式逐步完善地图。3) 视觉提示生成：基于全局语义地图生成视觉提示，用于引导VLM进行空间推理。4) VLM推理：利用视觉提示，VLM对全局语义地图进行推理，输出最终结果。
关键创新：MosaicThinker的关键创新在于其迭代构建全局语义地图的方式，以及利用视觉提示引导VLM进行空间推理的机制。与传统的直接对单帧图像进行推理的方法相比，MosaicThinker能够利用多帧信息，构建更完整的空间表征，从而提高推理的准确性。同时，视觉提示能够有效地引导VLM关注重要的空间关系，提高推理效率。
关键设计：具体的实现细节包括：全局语义地图的表示方式（例如，可以使用栅格地图或点云），空间信息整合的算法（例如，可以使用SLAM或SfM技术），视觉提示的生成方式（例如，可以使用注意力机制或目标检测技术），以及VLM的具体选择（可以使用各种预训练的视觉语言模型）。论文中可能还涉及一些损失函数的设计，用于优化全局语义地图的构建和视觉提示的生成。
🖼️ 关键图片
📊 实验亮点
论文实验结果表明，MosaicThinker能够显著提升资源受限设备上的跨帧空间推理准确率。具体提升幅度未知，但摘要强调了“greatly enhance the accuracy”。与直接使用VLM进行推理相比，MosaicThinker能够更有效地利用多帧信息，构建更完整的空间表征，从而提高推理的准确性。
🎯 应用场景
MosaicThinker技术可应用于各种具身AI场景，例如机器人导航、物体操作、场景理解和智能家居。通过增强设备端VLM的空间推理能力，可以使机器人更好地理解周围环境，从而更有效地完成各种任务。该技术还有助于开发更智能、更自主的机器人系统，提高其在复杂环境中的适应性和可靠性。未来，该技术有望在工业自动化、医疗保健和自动驾驶等领域发挥重要作用。
📄 摘要（原文）
When embodied AI is expanding from traditional object detection and recognition to more advanced tasks of robot manipulation and actuation planning, visual spatial reasoning from the video inputs is necessary to perceive the spatial relationships of objects and guide device actions. However, existing visual language models (VLMs) have very weak capabilities in spatial reasoning due to the lack of knowledge about 3D spatial information, especially when the reasoning task involve complex spatial relations across multiple video frames. In this paper, we present a new inference-time computing technique for on-device embodied AI, namely \emph{MosaicThinker}, which enhances the on-device small VLM's spatial reasoning capabilities on difficult cross-frame reasoning tasks. Our basic idea is to integrate fragmented spatial information from multiple frames into a unified space representation of global semantic map, and further guide the VLM's spatial reasoning over the semantic map via a visual prompt. Experiment results show that our technique can greatly enhance the accuracy of cross-frame spatial reasoning on resource-constrained embodied AI devices, over reasoning tasks with diverse types and complexities.