Thinking from Above: Efficient Spatial Reasoning with Bird's-Eye-View Visual Tokens
作者: Faizan Siddiqui, Nirav Savaliya, Sahith Reddy Chada, Enna Sachdeva
分类: cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出Cambrian-BEV以解决视频多模态大语言模型空间推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间推理 鸟瞰视图 视觉标记化 多模态学习 深度学习
📋 核心要点
- 现有的多模态大语言模型在空间推理上存在不足，无法有效整合不同视角和时间的视觉信息。
- 本文提出Cambrian-BEV，通过几何标记化将视觉特征映射到鸟瞰视图坐标系，聚合相同物理位置的特征。
- 在VSI-Bench和ReVSI上，Cambrian-BEV模型在视觉标记数量减少的情况下，性能显著提升，尤其在房间大小和相对方向上表现突出。
📝 摘要（中文）
现有的视频多模态大语言模型（MLLMs）主要按时间组织观察，但在具身空间推理中，需要按空间组织。由于缺乏稳定的空间上下文，现有模型的视觉表示在时间和视角上可能不一致。为了解决这一问题，本文提出了Cambrian-BEV，通过无参数的几何标记化方案，将每帧的视觉特征回投到共享的鸟瞰视图（BEV）坐标框架中，从而实现空间对应。该方法不仅提供了持久的场景表示，还有效压缩了数据，显著提高了模型性能。
🔬 方法详解
问题定义：本文旨在解决现有视频多模态大语言模型在空间推理中的不足，特别是如何有效整合不同视角和时间的视觉信息。现有方法在时间上保持一致性，但在空间上下文上缺乏稳定性，导致推理效果不佳。
核心思路：本文提出的Cambrian-BEV方法通过几何标记化，将每帧的视觉特征回投到一个共享的鸟瞰视图坐标框架中，从而建立稳定的空间对应关系。这种设计使得来自不同视角和时间的观察能够聚合为统一的空间标记，提升了空间推理的效率和准确性。
技术框架：Cambrian-BEV的整体架构包括三个主要模块：首先是使用DINOv3视觉编码器提取每帧的视觉特征；其次是将这些特征通过几何标记化映射到鸟瞰视图坐标系；最后是通过训练的多模态投影器与大语言模型结合，进行进一步的推理和生成。
关键创新：Cambrian-BEV的核心创新在于其无参数的几何标记化方案，能够将大量的视觉特征有效整合为固定数量的BEV标记。这一方法与现有的基于时间的特征处理方式本质上不同，提供了更为稳定和持久的空间表示。
关键设计：在设计上，Cambrian-BEV不需要对现有架构进行修改，仅需在BEV标记化过程中进行调整。通过将128帧的视觉特征压缩为27×27的固定网格，显著减少了LLM的预填充时间和峰值内存消耗。
🖼️ 关键图片
📊 实验亮点
在VSI-Bench上，Cambrian-BEV模型达到了63.48的性能，相比于同样调优的控制模型提升了8.5分，同时视觉标记数量减少了12.6倍。在ReVSI上，模型性能为44.68，提升了4.5分，显示出显著的效果改善。
🎯 应用场景
Cambrian-BEV的研究成果在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提供更为稳定的空间表示，该方法能够提升智能体在复杂环境中的决策能力和反应速度，推动具身智能的进一步发展。
📄 摘要（原文）
Existing video multimodal large language models (MLLMs) organize observations primarily in time, but embodied spatial reasoning requires organizing them in space. Consequently, their visual representations can remain locally consistent across nearby frames while lacking a persistent spatial context that is stable across viewpoints and time. We exploit depth and camera pose, which are naturally available to embodied agents, to explicitly establish this spatial correspondence. We introduce Cambrian-BEV, which extends Cambrian-S with a parameter-free geometric tokenization scheme that back-projects visual patch features from each frame into a shared bird's-eye-view (BEV) coordinate frame and averages features that fall within the same spatial cell. Thus, observations of the same physical location, regardless of viewpoint or time step, are aggregated into a common spatial token. In addition to providing a persistent scene representation, this formulation acts as an efficient compression mechanism: 128 frames containing approximately 100K DINOv3 patch features are consolidated into a fixed 27$\times$27 grid of only 729 BEV tokens, cutting LLM prefill time by $2.9\times$ and peak memory by $3.6\times$. Cambrian-BEV requires no architectural modification beyond BEV tokenization and uses a frozen DINOv3 vision encoder with a trainable multimodal projector and LLM. On VSI-Bench, our model reaches 63.48, $+8.5$ points over an identically fine-tuned frame-token control with $12.6\times$ fewer visual tokens, with particularly large gains on room size ($+24.5$) and relative direction ($+34.1$). On ReVSI, it reaches 44.68, $+4.5$ over the corresponding control.