Uruqi: Learning Spatial Cognition from Visual Experience

📄 arXiv: 2609.39195v1 📥 PDF

作者: Shichao Li, Meiqi Wang, Fei Su, Zhicheng Zhao

分类: cs.CV

发布日期: 2026-09-30

备注: 23 pages

💡 一句话要点

提出URUQI以解决视觉语言模型空间认知不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 空间智能 视觉语言模型 自我运动跟踪 环境映射 多轮监督 相机轨迹 空间推理

📋 核心要点

  1. 现有视觉语言模型在自我运动跟踪和环境映射方面存在显著不足，限制了其空间智能的提升。
  2. 本文提出通过密集的多轮监督和合成相机轨迹，模拟持续移动的代理视觉体验，以提升模型的空间认知能力。
  3. URUQI$_{ ext{Syn}}$-8B在Uruqi基准上准确率提升至47.73%，并在多个外部基准上表现出显著的相对准确率提升。

📝 摘要（中文）

空间智能要求在代理体移动时保持对世界的连贯理解。尽管空间后训练显著提升了视觉语言模型的空间智能，但它们在自我运动跟踪和运动中环境映射方面仍存在困难。为了解决这一问题，本文提供了密集的多轮监督，模拟持续移动代理的视觉体验。通过合成11738条以主题驱动的相机轨迹，支持自我运动跟踪和持久对象映射。训练的URUQI$_{ ext{Syn}}$-8B在Uruqi基准上准确率从15.84%提升至47.73%，并在外部空间基准上相较于InternVL3-8B提高了17.13%。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在自我运动跟踪和环境映射方面的不足，现有方法未能有效利用代理的运动信息来更新空间关系。

核心思路：通过提供密集的多轮监督，模拟一个持续移动的代理的视觉体验，使模型能够在观察过程中推理和更新对象位置及空间关系。

技术框架：整体架构包括合成以主题驱动的相机轨迹，支持自我运动跟踪和持久对象映射，训练模型以回答原子问题。主要模块包括数据合成、模型训练和评估。

关键创新：最重要的创新在于通过模拟连续视觉体验来提供监督，显著提升了模型在空间认知任务中的表现，与传统方法相比，能够更好地理解和处理空间关系。

关键设计：在训练过程中，使用了特定的损失函数来优化模型在空间任务上的表现，并设计了适应性网络结构以处理复杂的空间推理任务。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

URUQI${ ext{Syn}}$-8B在Uruqi基准上准确率从15.84%提升至47.73%，URUQI-SI-Mix-8B进一步达到50.41%，与GPT-6 Astra的50.08%相当。相较于InternVL3-8B，URUQI${ ext{Syn}}$-8B在三个外部空间基准上实现了平均17.13%的相对准确率提升。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景。在这些领域中，提升模型的空间认知能力能够显著改善系统的决策和交互能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Spatial intelligence requires maintaining a coherent understanding of the world as the embodied agent moves. Like humans, the agent must use its own motion to interpret changes across observations and update object locations and spatial relations accordingly. Despite spatial post-training having substantially broadened the spatial intelligence of vision-language models (VLMs), they still struggle with two atomic spatial capabilities: tracking self-motion and mapping the surrounding world during motion. To address this gap, we provide dense multi-turn supervision over interleaved atomic capabilities within each training episode, mimicking the visual experience of a continuously moving agent that reasons as it observes. To scale this up, we synthesize 11,738 motif-driven camera trajectories over a broad range of 3D scenes, supporting self-motion tracking, persistent object mapping, and rich spatial operations within each visual experience. By training models to reason over these atomic questions, our URUQI${\mathrm{Syn}}$-8B improves accuracy from 15.84% to 47.73% on our Uruqi benchmark comprising 52k questions across 2.7k episodes. URUQI-SI-Mix-8B further reaches 50.41%, comparable to the 50.08% achieved by GPT-6 Astra. Trained solely on our synthesized data, URUQI${\mathrm{Syn}}$-8B achieves an average relative accuracy improvement of 17.13% over its InternVL3-8B backbone across three external spatial benchmarks. These results highlight continuous visual experience as a scalable source of supervision for developing spatial cognition in VLMs.