CityCode: Building Agent-Operable 3D Cities from Sparse Aerial Observations
作者: Jiahui Sun, Ran Bi, Yifei Liu, Xiaolong Zhou, Yishuo Xu, Yuanqi Li, Congcong Zhu, Lei Yang, Yanwen Guo, Zhihang Zhong, Hongjie Zhang
分类: cs.CV
发布日期: 2026-10-13
备注: 13 pages, 4 figures;
💡 一句话要点
提出CityCode以解决稀疏航空观测下的3D城市构建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D城市建模 稀疏观测 城市空间智能 视觉结构提取 深度估计 持久实体身份 历史恢复
📋 核心要点
- 现有方法在城市建模中面临稀疏观测和重复密集重建的挑战，导致效率低下和信息丢失。
- 论文提出CityCode，通过从单幅低空航空图像生成参数化3D城市，支持持续的查询、编辑和历史恢复。
- 实验结果显示，CityCode在CitySample-Aerial和UrbanScene3D数据集上实现了更高的度量结构恢复准确性和视觉保真度。
📝 摘要（中文）
城市空间智能需要能够被代理测量、解释和修改的3D城市。为了实现这一目标，本文提出了一种新的城市构建方法CityCode，能够从每个区域的一幅低空航空RGB图像及已知相机参数生成大规模、实例级的参数化3D城市。该方法不仅恢复了建筑物的度量缩放和明确的道路几何及连通性，还通过持久的实体身份统一了度量几何、城市拓扑、视觉语义和3D资产。通过Air2Code，结合视觉结构提取和适应的度量深度估计，解决了遮挡和不完整覆盖的问题。实验结果表明，CityCode在结构恢复的准确性和视觉保真度上显著优于基线方法。
🔬 方法详解
问题定义：本文旨在解决从稀疏航空观测中构建3D城市的挑战，现有方法往往需要重复的密集重建，效率低且易丢失信息。
核心思路：CityCode通过从单幅低空航空RGB图像生成大规模的参数化3D城市，结合已知的相机参数，提供了一种轻量级的城市建模方法，支持持续的状态更新和历史恢复。
技术框架：该方法包括两个主要模块：CityCode表示和Air2Code构建。CityCode负责统一度量几何、城市拓扑和视觉语义，而Air2Code则通过视觉结构提取和深度估计来构建该表示。
关键创新：最重要的创新在于引入了持久的实体身份和依赖感知的版本执行机制，使得城市状态的更新和恢复变得高效且可靠。
关键设计：在技术细节上，Air2Code结合了视觉结构提取与适应性度量深度估计，解决了遮挡和不完整覆盖的问题，并通过生成补全和结构感知的3D生成来增强建筑物和背景的表现。
🖼️ 关键图片
📊 实验亮点
在CitySample-Aerial和UrbanScene3D数据集上的实验结果显示，CityCode在度量结构恢复的准确性上比基线方法提高了显著的性能，视觉保真度也得到了显著提升，证明了其在城市建模中的有效性。
🎯 应用场景
该研究的潜在应用领域包括城市规划、智能交通系统和虚拟现实等。通过提供持久的、可操作的城市模型，CityCode能够支持城市管理和决策过程，提升城市空间智能的效率和准确性。未来，该技术可能在自动驾驶、城市监测和环境保护等方面发挥重要作用。
📄 摘要（原文）
Urban spatial intelligence calls for 3D cities that agents can measure, interpret, and modify across successive tasks. Maintaining such cities as persistent, code-based states requires lightweight acquisition and support for consistent state updates without repeated dense reconstruction. We therefore formulate a new setting for grounded urban world construction: generating large-scale, instance-level parameterized 3D cities from one low-altitude aerial RGB image per region and known camera parameters, while recovering metrically scaled buildings and explicit road geometry and connectivity. We introduce CityCode, an agent-operable representation that unifies metric geometry, urban topology, visual semantics, and 3D assets through persistent entity identities, with dependency-aware versioned execution for validated updates and historical restoration. We further develop Air2Code to construct this representation by combining visual structure extraction with adapted metric depth estimation. To address occlusion and incomplete coverage, recovered structure and observed appearance guide generative completion and subsequent structure-aware 3D generation for buildings and backgrounds. Experiments on CitySample-Aerial and UrbanScene3D demonstrate substantially more accurate metric structure recovery and superior visual fidelity to the target cities compared with the evaluated baselines. Across 50 task chains of 50 steps each, CityCode supports continued querying, editing, planning, and historical restoration over evolving city states. Together, CityCode and Air2Code turn sparse aerial observations into persistent, agent-operable urban worlds for long-horizon urban spatial intelligence.