Enhancing Photogrammetric Digital Surface Models with Pretrained Diffusion Models and Multimodal Conditioning

📄 arXiv: 2609.31199v1 📥 PDF

作者: Antoine Lorentz, Stéphane May, Valentine Bellet, Dawa Derksen, Bastien Nespoulous

分类: eess.IV, cs.CV

发布日期: 2026-09-25

期刊: Remote Sensing 18(19), 3303 (2026)

DOI: 10.3390/rs18193303

💡 一句话要点

提出多模态条件下的扩散模型以提升数字表面模型精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数字表面模型 扩散模型 多模态条件 高程数据优化 摄影测量 激光雷达 城市规划

📋 核心要点

  1. 现有的数字表面模型常受到噪声和异常值的影响，导致高程精度不足。
  2. 论文提出了一种基于扩散模型的多模态条件方法，结合摄影测量DSM和Pléiades影像进行优化。
  3. 实验结果显示，该方法在多个城市中显著降低了高程RMSE，提升了模型的准确性。

📝 摘要（中文）

大规模数字表面模型（DSM）可以通过立体摄影测量从卫星图像中经济高效地生成。然而，生成的3D地图常常受到噪声、异常值和空洞的影响。相比之下，航空激光雷达提供了高精度的高程测量，但成本显著更高。本文研究了在摄影测量DSM和Pléiades影像的条件下，利用扩散模型来优化垂直对齐的DSM。我们引入了一种修改版的Stable Diffusion 3架构，采用剪枝文本流和基于块的归一化策略，使得在激光雷达数据上进行稳定训练成为可能，并实现了从自然图像到高程图的迁移。实验结果表明，多模态条件下的处理显著提高了高程精度，在城市环境中，Dense Urban的均方根误差（RMSE）从6.00降至3.45米，在保留的波尔多城市中从4.16降至2.77米。

🔬 方法详解

问题定义：本文旨在解决现有数字表面模型（DSM）在高程精度上受到噪声和异常值影响的问题。传统的立体摄影测量方法生成的3D地图往往存在较大的误差，而高精度的航空激光雷达数据成本较高，难以广泛应用。

核心思路：论文提出了一种基于扩散模型的多模态条件方法，通过结合摄影测量生成的DSM和高分辨率的Pléiades影像，来优化高程数据的精度。该方法利用扩散模型的强大生成能力，能够有效地从不同模态中提取信息，提升高程模型的质量。

技术框架：整体架构包括数据预处理、模型训练和高程数据生成三个主要阶段。首先，对输入的DSM和Pléiades影像进行预处理，确保数据的垂直对齐。然后，利用修改版的Stable Diffusion 3架构进行训练，最后生成优化后的高程模型。

关键创新：本研究的主要创新在于引入了多模态条件的扩散模型，并对Stable Diffusion 3架构进行了修改，采用剪枝文本流和块状归一化策略，使得模型能够在激光雷达数据上进行稳定训练。这一设计使得从自然图像到高程图的迁移成为可能。

关键设计：在模型设计中，采用了剪枝技术来优化文本流，减少不必要的信息干扰。同时，块状归一化策略确保了在训练过程中模型的稳定性。此外，损失函数的设计也考虑了高程数据的特性，以提高模型的生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用多模态条件的扩散模型后，Dense Urban区域的均方根误差（RMSE）从6.00米降低至3.45米，而在波尔多的保留城市中，RMSE从4.16米降至2.77米，显著提升了高程模型的准确性，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括城市规划、环境监测和灾害管理等。通过提升数字表面模型的精度，可以为城市基础设施建设提供更可靠的高程数据支持，帮助决策者进行科学规划。此外，优化后的DSM也可用于生态环境监测，评估地形变化对生态系统的影响，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large-scale Digital Surface Models (DSMs) can be produced cost-effectively from satellite images via stereo-photogrammetry. However, the resulting 3D maps are often contaminated by noise, outliers, and voids. On the other hand, aerial LiDAR provides high-accuracy elevation measurements at a substantially higher cost. In this work, we study diffusion models conditioned both on photogrammetric DSMs and Pléiades imagery to refine vertically co-registered DSMs. We introduce a modified Stable Diffusion 3 architecture with a pruned text stream and a patch-wise normalization strategy, enabling stable training on LiDAR data and transfer from natural images to elevation maps. Experiments in French cities demonstrate that multimodal conditioning improves elevation accuracy, reducing Dense Urban RMSE from 6.00 to 3.45 m in the in-context cities and from 4.16 to 2.77 m in the held-out city of Bordeaux.