WeatherCity: Urban Scene Reconstruction with Controllable Multi-Weather Transformation
作者: Wenhua Wu, Huai Guan, Zhe Liu, Hesheng Wang
分类: cs.CV
发布日期: 2026-02-25
💡 一句话要点
WeatherCity：提出可控多天气变换的城市场景重建框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 城市场景重建 天气编辑 4D重建 高斯表示 文本引导图像编辑
📋 核心要点
- 现有4D城市场景重建方法缺乏多样天气模拟能力，图像级天气编辑易引入伪影且可控性差。
- WeatherCity利用文本引导图像编辑和天气高斯表示，实现灵活可控、高保真和时间一致的天气编辑。
- 实验表明WeatherCity能细粒度控制天气条件，并支持场景中的对象级操作，效果显著。
📝 摘要（中文）
可编辑的高保真4D场景对于自动驾驶至关重要，因为它们可以应用于端到端训练和闭环仿真。然而，现有的重建方法主要局限于复制观察到的场景，缺乏多样化的天气模拟能力。图像级天气编辑方法容易引入场景伪影，并且对天气效果的可控性较差。为了解决这些限制，我们提出了WeatherCity，一个用于4D城市场景重建和天气编辑的新框架。具体来说，我们利用文本引导的图像编辑模型来实现图像天气背景的灵活编辑。为了解决多天气建模的挑战，我们引入了一种基于共享场景特征和专用天气特定解码器的新型天气高斯表示。这种表示通过内容一致性优化得到进一步增强，确保了不同天气条件下的连贯建模。此外，我们设计了一个物理驱动模型，通过粒子和运动模式来模拟动态天气效果。在多个数据集和各种场景上的大量实验表明，WeatherCity在4D重建和天气编辑中实现了灵活的可控性、高保真度和时间一致性。我们的框架不仅能够对天气条件（例如，小雨和大雪）进行细粒度控制，还支持场景中的对象级操作。
🔬 方法详解
问题定义：现有4D城市场景重建方法主要局限于复制已观测到的场景，无法模拟各种天气条件。图像级天气编辑方法虽然可以改变图像的天气，但容易引入场景伪影，并且对天气效果的控制能力较弱。因此，如何实现可控、高保真且时间一致的多天气城市场景重建是一个关键问题。
核心思路：WeatherCity的核心思路是结合文本引导的图像编辑和新型天气高斯表示，实现对城市场景天气的灵活控制和逼真模拟。通过文本引导图像编辑，可以灵活地改变图像的天气背景。而天气高斯表示则能够有效地建模不同天气条件下的场景特征，并保证内容一致性。
技术框架：WeatherCity框架主要包含以下几个模块：1) 文本引导的图像编辑模块，用于生成不同天气条件下的图像；2) 天气高斯表示模块，用于建模场景和天气特征；3) 内容一致性优化模块，用于保证不同天气条件下的场景一致性；4) 物理驱动的天气效果模拟模块，用于模拟动态的天气效果。整体流程是：首先利用文本引导的图像编辑生成不同天气的图像，然后使用天气高斯表示对场景和天气特征进行建模，并通过内容一致性优化保证场景的一致性，最后使用物理驱动模型模拟动态天气效果。
关键创新：WeatherCity的关键创新在于提出了新型天气高斯表示。该表示基于共享的场景特征和专用的天气特定解码器，能够有效地建模不同天气条件下的场景特征，并保证内容一致性。此外，该框架还引入了物理驱动的天气效果模拟，使得天气效果更加逼真。
关键设计：WeatherCity的关键设计包括：1) 使用预训练的文本引导图像编辑模型，例如Stable Diffusion，以实现灵活的天气编辑；2) 设计天气高斯表示，使用共享的场景特征和专用的天气特定解码器；3) 设计内容一致性损失函数，以保证不同天气条件下的场景一致性；4) 设计物理驱动模型，使用粒子和运动模式模拟动态天气效果。
🖼️ 关键图片
📊 实验亮点
WeatherCity在多个数据集和各种场景上进行了广泛的实验，结果表明该框架在4D重建和天气编辑中实现了灵活的可控性、高保真度和时间一致性。该框架不仅能够对天气条件（例如，小雨和大雪）进行细粒度控制，还支持场景中的对象级操作。实验结果表明，WeatherCity能够生成逼真的多天气城市场景，并显著优于现有的方法。
🎯 应用场景
WeatherCity可应用于自动驾驶的仿真测试和训练，帮助自动驾驶系统适应各种天气条件。此外，该技术还可用于电影制作、游戏开发等领域，创造更加逼真的虚拟环境。未来，该技术有望进一步扩展到其他类型的场景，例如室内场景、自然景观等，为虚拟现实和增强现实应用提供更强大的支持。
📄 摘要（原文）
Editable high-fidelity 4D scenes are crucial for autonomous driving, as they can be applied to end-to-end training and closed-loop simulation. However, existing reconstruction methods are primarily limited to replicating observed scenes and lack the capability for diverse weather simulation. While image-level weather editing methods tend to introduce scene artifacts and offer poor controllability over the weather effects. To address these limitations, we propose WeatherCity, a novel framework for 4D urban scene reconstruction and weather editing. Specifically, we leverage a text-guided image editing model to achieve flexible editing of image weather backgrounds. To tackle the challenge of multi-weather modeling, we introduce a novel weather Gaussian representation based on shared scene features and dedicated weather-specific decoders. This representation is further enhanced with a content consistency optimization, ensuring coherent modeling across different weather conditions. Additionally, we design a physics-driven model that simulates dynamic weather effects through particles and motion patterns. Extensive experiments on multiple datasets and various scenes demonstrate that WeatherCity achieves flexible controllability, high fidelity, and temporal consistency in 4D reconstruction and weather editing. Our framework not only enables fine-grained control over weather conditions (e.g., light rain and heavy snow) but also supports object-level manipulation within the scene.