GeoReader: Learning Latent Geometry for Spatial Reasoning in Vision-Language Models

📄 arXiv: 2610.18694v1 📥 PDF

作者: Rong Li, Shijie Li, Jiangyong Huang, Lingdong Kong, Jiaming Zhou, Dongyue Lu, Zeying Gong, Baoxiong Jia, Junwei Liang, Siyuan Huang

分类: cs.CV, cs.AI, cs.LG, cs.MM

发布日期: 2026-10-13

备注: 35 pages, 11 figures, 15 tables; Project Page at https://iris0329.github.io/georeader-homepage/ GitHub Repo at https://github.com/iris0329/GeoReader

💡 一句话要点

提出GeoReader以解决视觉语言模型中的空间推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 空间推理 几何表示 多模态学习 深度学习 问答系统 几何读取器

📋 核心要点

  1. 现有视觉语言模型在处理RGB图像中的几何信息时存在不足，无法有效利用隐含的度量和多视角关系。
  2. 本文提出GeoReader框架，通过训练几何读取器生成连续输入标记，并在空间问答中注入几何信息，提升模型的推理能力。
  3. 实验结果显示，GeoReader在MindCube-Tiny上达到94.3的准确率，并在六个额外空间基准上平均提升至72.5，表现优异。

📝 摘要（中文）

视觉语言模型（VLMs）在处理RGB观察中的度量和多视角关系时面临挑战。几何基础模型从RGB中恢复这些结构，但现有方法要么仅通过问答学习融合特征，要么将VLM潜在特征与几何特征对齐。本文提出GeoReader框架，通过训练轻量级几何读取器生成连续输入标记，并利用冻结的VLM解码的几何描述进行监督，从而使读取器以目标模型能够理解的形式表达几何信息。最终，VLM在空间问答任务中直接从连续几何标记回答问题，实验结果表明该方法在多个基准上取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在处理RGB图像中的几何信息时的不足，现有方法无法有效利用隐含的几何结构，导致模型性能受限。

核心思路：GeoReader框架通过训练轻量级几何读取器生成连续的输入标记，并利用冻结的VLM解码的几何描述进行监督，使得几何信息以目标模型可理解的形式表达，从而提升空间推理能力。

技术框架：该框架主要包括两个阶段：首先训练几何读取器生成几何描述的输入标记，然后在冻结读取器的基础上对VLM进行微调，注入几何信息以适应空间问答任务。

关键创新：GeoReader的创新在于通过几何读取器直接生成可供VLM使用的几何标记，而不仅仅是重建几何信息，这一设计使得几何表示的有效性得以提升。

关键设计：在训练过程中，几何读取器的输出通过冻结的VLM进行监督，确保生成的几何标记符合目标模型的输入要求。损失函数设计上，重点关注几何描述的准确性和连续性，以确保模型能够有效利用这些信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoReader在MindCube-Tiny上取得了94.3的准确率，并在六个额外空间基准上平均达到72.5的表现，相较于传统方法显著提升了模型的空间推理能力，展示了几何信息有效利用的重要性。

🎯 应用场景

GeoReader的研究成果在多模态学习、机器人视觉和增强现实等领域具有广泛的应用潜力。通过提升视觉语言模型的空间推理能力，该框架能够为智能系统提供更准确的环境理解，进而推动自动驾驶、智能家居等技术的发展。

📄 摘要（原文）

Vision-language models (VLMs) struggle with metric and multi-view relationships that remain implicit in RGB observations. Geometry foundation models recover this structure from RGB, but existing methods either fuse the estimated features with visual tokens and learn to use them from question answering alone, or align VLM latents with geometry features. Capturing geometry, however, does not ensure its use: zeroing the aligned latents of a released feature-alignment model leaves its accuracy unchanged. We introduce GeoReader, a framework that learns geometric representations for the VLM that reads them. First, we train lightweight Geometric Readers to produce continuous input tokens, supervising them with geometry descriptions decoded by a frozen VLM, so that the Readers express geometry in a form the target model can already read. We then freeze the Readers to preserve this interface while fine-tuning the VLM on spatial QA, with geometry injection conditioned on the question. Geometry descriptions serve only as training targets: at inference, the VLM answers directly from the continuous geometric tokens without generating a geometry chain of thought. With geometry predicted from RGB images, our approach reaches 94.3 on MindCube-Tiny with Qwen3-VL-4B and, with a multi-source QA mixture, an average of 72.5 across six additional spatial benchmarks with Qwen3.5-9B. These results suggest that a useful geometric representation is one the receiving model can use, not merely one from which geometry can be reconstructed.