GeoState: Learning View-Decoupled Geometry States for 3D World Modeling

📄 arXiv: 2610.22343v1 📥 PDF

作者: Hongchang Liu, Jian Liu, Yujuan Ding, Liang Peng, Xun Jiang, Fei Ma, Xing Xu, Yi Bin

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2026-10-15

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GeoState以解决3D世界建模中的视角依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D世界建模 几何基础模型 视角解耦 状态预测 自动驾驶

📋 核心要点

  1. 现有的3D世界模型在利用几何基础模型特征时，面临视角依赖性导致的状态预测困难。
  2. GeoState通过视角解耦的几何表示，将场景状态演变与相机观察分离，从而提高预测精度。
  3. 实验结果显示，GeoState在Waymo数据集上表现优异，并在KITTI和nuScenes上实现零样本泛化，具有良好的跨视角查询能力。

📝 摘要（中文）

近年来，3D世界模型越来越多地利用几何基础模型（GFM）的特征作为预测世界状态，受益于其丰富的几何先验。然而，这些特征的视角依赖性使得场景动态与相机引起的变化交织在一起，从而使得状态演变的预测变得更加困难。为此，本文提出了GeoState，一种视角解耦的几何表示，用于预测3D世界建模，能够将场景状态演变与相机依赖的观察分离。具体而言，场景标记器将多视角GFM特征聚合为视角解耦的场景状态，几何解码器通过相机光线进行查询。自回归世界模型随后预测未来的场景状态，同时单独建模相机运动。实验表明，GeoState在Waymo数据集上优于先前的3D世界模型，支持几何一致的跨视角查询，并在KITTI和nuScenes上实现零样本泛化。

🔬 方法详解

问题定义：本文旨在解决3D世界建模中由于视角依赖性导致的状态预测困难。现有方法将场景动态与相机变化混合在一起，使得状态演变难以准确预测。

核心思路：GeoState的核心思路是通过视角解耦的几何表示，将场景状态演变与相机观察分离，从而提高模型的预测能力。该方法允许在不同的相机视角下进行状态解码，保持一致的上下文尺度。

技术框架：GeoState的整体架构包括三个主要模块：场景标记器、几何解码器和自回归世界模型。场景标记器负责聚合多视角GFM特征，几何解码器通过相机光线查询场景状态，自回归世界模型则用于预测未来的场景状态。

关键创新：GeoState的主要创新在于其视角解耦的几何表示，能够有效分离场景状态与相机运动。这一设计使得模型在不同相机视角下的状态预测更加准确，避免了传统方法中需要逐帧对齐的复杂性。

关键设计：在技术细节上，GeoState采用了特定的损失函数来优化状态预测的准确性，并设计了高效的网络结构以支持多视角特征的聚合与查询。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在Waymo数据集上的实验结果显示，GeoState相较于先前的3D世界模型有显著提升，具体性能数据表明其在状态预测准确性上提高了XX%。此外，GeoState在KITTI和nuScenes数据集上实现了零样本泛化，展现出良好的跨域适应能力。

🎯 应用场景

GeoState在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供更准确的3D世界建模能力，该研究可以提升机器人导航、环境理解和人机交互的效果，推动相关技术的发展与应用。

📄 摘要（原文）

Recent 3D world models increasingly use features from geometry foundation models (GFMs) as predictive world states, benefiting from their rich geometric priors. However, the view dependence of these features entangles scene dynamics with camera-induced variation, making the resulting state evolution harder to predict. We propose GeoState, a view-decoupled geometry representation for predictive 3D world modeling that separates scene-state evolution from camera-dependent observation. Specifically, a scene tokenizer aggregates multi-view GFM features into a view-decoupled scene state, which a geometry decoder queries using camera rays. An autoregressive world model then predicts future scene states, while camera motion is modeled separately. The predicted states can therefore be decoded under either predicted or externally specified cameras, while retaining a single context-derived scale throughout the rollout without per-frame scale alignment. Experiments show that GeoState outperforms prior 3D world models on Waymo, supports geometrically consistent cross-view querying, and generalizes zero-shot to KITTI and nuScenes. Project page: https://hongchang-liu.github.io/GeoState-project-page/