ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

📄 arXiv: 2507.19058v1 📥 PDF

作者: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

分类: cs.CV

发布日期: 2025-07-25

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

ScenePainter：通过概念关系对齐实现语义一致的永久3D场景生成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景生成 语义一致性 图像外推 场景理解 图神经网络

📋 核心要点

  1. 现有永久3D场景生成方法依赖外推，易产生累积偏差导致的语义漂移问题。
  2. ScenePainter通过对齐外推器的场景先验与当前场景理解，实现语义一致性。
  3. 引入SceneConceptGraph分层图结构，指导外推器生成一致新视图，并动态细化以增强多样性。

📝 摘要（中文）

永久3D场景生成旨在生成长程且连贯的3D视图序列，适用于长期视频合成和3D场景重建。现有方法遵循“导航和想象”模式，并依赖于外推来扩展连续视图。然而，生成的视图序列存在语义漂移问题，该问题源于外推模块的累积偏差。为了解决这个挑战，我们提出了ScenePainter，一个新的语义一致的3D场景生成框架，它将外推器的场景特定先验与当前场景的理解对齐。具体来说，我们引入了一个名为SceneConceptGraph的分层图结构来构建多层次场景概念之间的关系，该结构指导外推器生成一致的新视图，并且可以动态地细化以增强多样性。大量实验表明，我们的框架克服了语义漂移问题，并生成了更一致和沉浸式的3D视图序列。

🔬 方法详解

问题定义：永久3D场景生成旨在生成长程连贯的3D视图序列，现有方法如“导航和想象”模式，依赖于图像外推来扩展视图。然而，由于外推模块的累积误差，生成的视图序列会逐渐出现语义漂移，导致场景不一致，影响长期视频合成和3D场景重建的质量。

核心思路：ScenePainter的核心思路是将外推器的场景特定先验知识与当前场景的理解对齐，从而避免语义漂移。通过构建场景概念之间的关系，指导外推器生成与当前场景语义一致的新视图。这种对齐机制能够有效抑制累积误差，保持场景的长期一致性。

技术框架：ScenePainter框架主要包含以下几个模块：1) 场景理解模块：用于提取当前场景的多层次概念信息。2) SceneConceptGraph构建模块：构建分层图结构，表示场景概念之间的关系。3) 外推模块：基于SceneConceptGraph指导，生成新的视图。4) 动态细化模块：动态更新SceneConceptGraph，增强生成的多样性。整体流程是，首先理解当前场景，构建SceneConceptGraph，然后利用SceneConceptGraph指导外推模块生成新视图，最后动态细化SceneConceptGraph。

关键创新：ScenePainter的关键创新在于引入了SceneConceptGraph，这是一个分层图结构，用于表示和利用场景概念之间的关系。与现有方法直接进行图像外推不同，ScenePainter通过SceneConceptGraph将场景的语义信息融入到外推过程中，从而保证生成视图的语义一致性。此外，动态细化模块进一步增强了生成的多样性。

关键设计：SceneConceptGraph的具体设计包括节点表示场景概念，边表示概念之间的关系。节点可以表示不同层次的场景元素，例如物体、区域和整体场景。边的权重可以表示概念之间的关联强度。外推模块利用SceneConceptGraph指导生成过程，例如，可以根据SceneConceptGraph中的关系，调整生成图像中物体的布局和外观。动态细化模块通过分析生成结果，更新SceneConceptGraph中的节点和边的信息，从而不断提高生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ScenePainter能够有效克服语义漂移问题，生成更一致和沉浸式的3D视图序列。相较于现有方法，ScenePainter在语义一致性指标上取得了显著提升。项目主页提供了更多实验细节和可视化结果，展示了ScenePainter在复杂场景下的生成能力。

🎯 应用场景

ScenePainter在长期视频合成、3D场景重建、虚拟现实和增强现实等领域具有广泛的应用前景。它可以用于生成逼真的虚拟环境，创建沉浸式的游戏体验，以及辅助机器人进行场景理解和导航。该研究的实际价值在于提高了3D场景生成的一致性和真实感，未来可能推动相关领域的技术发展。

📄 摘要（原文）

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.