GeoThinker-$F$: Endogenous Predictive World Representations for Fast Spatial Intelligence
作者: Haoyuan Li, Qihang Cao, Huanyuan Zhou, Xin Hu, Sijia Chen, Zihan Guo, Kun Xiang, Yunshuang Nie, Tao Tang, Xinlong Zheng, Jia-Wang Bian, Xianming Liu, Xiaodan Liang
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出GeoThinker-$F$以解决多模态大语言模型的推理延迟问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何感知 多模态大语言模型 时空感知 潜在世界表示 推理速度提升 机器人导航 增强现实
📋 核心要点
- 现有的几何感知多模态大语言模型依赖外部3D编码器，导致推理时延迟和计算开销显著。
- GeoThinker-$F$通过将MLLM隐藏状态转化为预测的潜在世界表示，内化时空感知，消除对外部编码器的依赖。
- 实验结果显示，GeoThinker-$F$在多种基准测试中保持竞争力，推理速度提升至3.6倍，显著降低延迟。
📝 摘要（中文）
现有的几何感知多模态大语言模型（MLLMs）越来越依赖外部3D编码器提供结构先验，但在推理时执行这些额外的编码路径会引入显著的延迟和计算开销。我们提出了GeoThinker-$F$，一个高效的框架，通过将因果MLLM隐藏状态转化为预测的潜在世界表示，内化时空感知。我们的关键见解是，中间语义表示包含足够的信息来预测当前几何和未来语义的有用表示，而无需精确重现专用3D编码器的特征。GeoThinker-$F$采用了分离的两阶段训练策略，第一阶段冻结MLLM主干，轻量级潜在帧预测头从离线3D几何专家和下一帧语义目标中学习；第二阶段移除外部专家，模型通过专门的空间基础时间融合模块共同优化生成和选择性整合自我预测的先验。广泛评估表明，GeoThinker-$F$消除了对外部3D几何编码器的运行时依赖，同时在多种空间智能基准上保持竞争力表现，推理速度提升高达3.6倍，延迟从1.45秒降至0.40秒，同时保持强大的空间推理性能。
🔬 方法详解
问题定义：本论文旨在解决现有几何感知多模态大语言模型在推理时对外部3D编码器的依赖问题，这种依赖导致了显著的延迟和计算开销。
核心思路：GeoThinker-$F$的核心思路是通过将因果MLLM的隐藏状态转化为预测的潜在世界表示，内化时空感知，从而避免对外部3D编码器的依赖。
技术框架：GeoThinker-$F$采用分离的两阶段训练策略。第一阶段中，MLLM主干被冻结，轻量级的潜在帧预测头从离线3D几何专家和下一帧语义目标中学习；第二阶段中，移除外部专家，模型通过空间基础时间融合模块共同优化生成和整合自我预测的先验。
关键创新：GeoThinker-$F$的主要创新在于其能够在不依赖外部3D编码器的情况下，利用中间语义表示进行有效的几何和语义预测，这与现有方法的依赖性形成鲜明对比。
关键设计：在设计中，采用了轻量级的潜在帧预测头，结合了特定的损失函数以优化预测精度，同时通过空间基础时间融合模块实现自我预测先验的整合。整体架构确保了模型在推理时的高效性与准确性。
🖼️ 关键图片
📊 实验亮点
GeoThinker-$F$在多种空间智能基准测试中表现出色，推理速度提升高达3.6倍，延迟从1.45秒降至0.40秒，同时保持强大的空间推理性能，显示出其在实际应用中的显著优势。
🎯 应用场景
GeoThinker-$F$的研究成果在多个领域具有广泛的应用潜力，包括自动驾驶、机器人导航、增强现实等。通过提高空间智能的推理效率，该框架能够在实时系统中实现更快速的决策，推动智能系统的实际应用和发展。
📄 摘要（原文）
Existing geometry-aware Multimodal Large Language Models (MLLMs) increasingly rely on external 3D encoders to provide structural priors, but executing these additional encoder paths at inference introduces substantial latency and computational overhead. We propose GeoThinker-$F$, an efficient framework that internalizes spatiotemporal perception by transforming causal MLLM hidden states into predictive latent world representations. Our key insight is that intermediate semantic representations contain sufficient information to predict useful representations of current geometry and future semantics, without requiring an exact reproduction of features from a dedicated 3D encoder. To realize this idea, GeoThinker-$F$ adopts a decoupled two-stage training strategy. In the first stage, the MLLM backbone is frozen while lightweight Latent Frame Prediction (LFP) heads learn from an offline 3D geometry expert and next-frame semantic targets. In the second stage, the external expert is removed, and the model is jointly optimized to generate and selectively integrate its self-predicted priors through a specialized Spatial-Grounded Temporal (SGT) Fusion module. Extensive evaluations show that GeoThinker-$F$ eliminates runtime dependence on external 3D geometry encoders while maintaining competitive performance across diverse spatial intelligence benchmarks. It achieves up to a $3.6\times$ inference speedup, reducing latency from $1.45\,\mathrm{s}$ to $0.40\,\mathrm{s}$ while retaining strong spatial reasoning performance.