TerraFusion: Joint Generation of Terrain Geometry and Texture Using Latent Diffusion Models

📄 arXiv: 2505.04050v3 📥 PDF

作者: Kazuki Higo, Toshiki Kanai, Yuki Endo, Yoshihiro Kanamori

分类: cs.GR, cs.CV

发布日期: 2025-05-07 (更新: 2025-12-17)

💡 一句话要点

提出TerraFusion以解决地形几何与纹理生成的关联问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维地形生成 潜在扩散模型 高度图与纹理 无监督学习 用户控制 视频游戏开发 电影制作

📋 核心要点

  1. 现有方法通常单独生成高度图或纹理，未能有效捕捉两者之间的内在关联，导致生成的地形缺乏真实感。
  2. 本文提出了一种联合生成地形高度图和纹理的方法，利用潜在扩散模型进行无监督训练，并通过手绘草图实现用户控制。
  3. 实验结果显示，该方法在生成的地形模型中保持了高度图与纹理之间的关联性，提升了生成的直观性和真实感。

📝 摘要（中文）

三维地形模型在视频游戏开发和电影制作等领域至关重要。由于表面颜色通常与地形几何相关，因此捕捉这种关系对于实现真实感至关重要。然而，现有方法大多仅生成高度图或纹理，未能充分考虑其内在关联。本文提出了一种利用潜在扩散模型联合生成地形高度图和纹理的方法。首先，我们以无监督方式训练模型，随机生成配对的高度图和纹理。然后，通过监督学习外部适配器，使用户能够通过手绘草图进行控制。实验表明，我们的方法在保持高度图和纹理之间的关联的同时，实现了直观的地形生成。

🔬 方法详解

问题定义：本文旨在解决现有方法在生成三维地形时未能充分考虑高度图与纹理之间的关联性的问题。现有方法往往只关注单一的生成任务，导致生成结果缺乏真实感和一致性。

核心思路：论文提出的核心思路是利用潜在扩散模型联合生成高度图和纹理，通过无监督学习生成配对数据，并结合用户的手绘草图进行控制，从而实现更直观的地形生成。

技术框架：整体架构包括两个主要阶段：首先是无监督训练阶段，模型随机生成高度图和纹理的配对；其次是监督学习阶段，训练外部适配器以实现用户输入的控制。

关键创新：最重要的技术创新在于将高度图和纹理的生成过程结合在一起，利用潜在扩散模型有效捕捉两者之间的关联性，这与现有方法的单一生成方式形成了本质区别。

关键设计：在模型设计上，采用了适合生成任务的损失函数，确保生成结果的质量。同时，网络结构经过优化，以提高生成的效率和效果。

📊 实验亮点

实验结果表明，TerraFusion方法在生成的地形模型中保持了高度图与纹理之间的关联性，相较于传统方法，生成的地形在真实感和直观性上有显著提升，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括视频游戏开发、电影制作以及虚拟现实等场景，能够为这些领域提供更为真实和直观的地形生成工具。未来，该方法可能推动相关技术的发展，提升用户体验和创作效率。

📄 摘要（原文）

3D terrain models are essential in fields such as video game development and film production. Since surface color often correlates with terrain geometry, capturing this relationship is crucial to achieving realism. However, most existing methods generate either a heightmap or a texture, without sufficiently accounting for the inherent correlation. In this paper, we propose a method that jointly generates terrain heightmaps and textures using a latent diffusion model. First, we train the model in an unsupervised manner to randomly generate paired heightmaps and textures. Then, we perform supervised learning of an external adapter to enable user control via hand-drawn sketches. Experiments show that our approach allows intuitive terrain generation while preserving the correlation between heightmaps and textures.