ESG: Generating Physically Consistent Dynamic 3D Scenes from Text Descriptions

📄 arXiv: 2609.15392v1 📥 PDF

作者: Xintong Fang, Zhiyuan Fang, Rengan Xie, Xuhong Zhang, Guoyuan An, Zeran Liu, Jingyan Zhang, Jiarui Guo, Yuchi Huo

分类: cs.GR, cs.CV

发布日期: 2026-09-14

备注: 9pages

💡 一句话要点

提出ESG框架以解决动态3D场景生成问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景生成 Evolutive Scene Graph 物理一致性 自然语言处理 可微分仿真 Unreal Engine 计算机视觉

📋 核心要点

  1. 现有方法主要集中在静态场景生成，缺乏对动态场景的有效处理，导致生成的场景缺乏物理一致性和时间演变能力。
  2. 本文提出的Evolutive Scene Graph（ESG）框架，能够从文本描述生成动态3D场景，确保物理属性和时间线的合理性。
  3. 在10个场景的实验中，本文方法在事件完成率上达到16.4/18，明显优于现有的Scene Language和未进行物理优化的基线方法。

📝 摘要（中文）

近年来，图像和3D场景生成的进展使得静态环境的生成越来越逼真，但大多数方法仍局限于静态配置。从自然语言生成动态场景是一项根本性的挑战：它需要对场景结构、时间演变和物理可行性进行联合推理，同时确保在现代物理引擎中的可靠执行。本文提出了一种统一框架，通过Evolutive Scene Graph（ESG）从文本生成物理一致的动态3D场景，输出可直接在Unreal Engine中执行。该方法通过大型语言模型构建和验证完整的ESG，利用能量最小化的梯度优化进行空间布局的基础，并通过可微分仿真优化时间线约束的物理参数，以满足用户指定的事件。实验结果表明，该方法在事件完成率和参数准确性上显著优于现有基线。

🔬 方法详解

问题定义：本文旨在解决从自然语言生成动态3D场景的挑战，现有方法多集中于静态场景，缺乏对时间演变和物理一致性的考虑。

核心思路：提出Evolutive Scene Graph（ESG）作为核心框架，通过机器可验证的形式指定实体的物理属性、空间关系和事件驱动的时间线，从而实现动态场景的生成。

技术框架：整体流程包括：首先，利用大型语言模型构建和验证完整的ESG；其次，通过能量最小化的梯度优化确定空间布局；最后，通过可微分仿真优化时间线约束的物理参数，确保生成场景符合用户指定的事件。

关键创新：ESG框架的提出是本文的核心创新，它与现有方法的本质区别在于能够同时处理场景的物理属性和时间演变，确保生成结果的可执行性和一致性。

关键设计：在参数设置上，采用了能量最小化的梯度优化方法来确保空间布局的合理性，同时通过可微分仿真来优化物理参数，确保生成的场景符合物理规律。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在事件完成率上达到16.4/18，明显优于最强基线方法SimWorld，且在参数准确性上也有显著提升，验证了ESG框架的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和教育培训等，能够为动态场景生成提供更高的灵活性和真实感。未来，随着技术的进一步发展，ESG框架可能在自动化内容生成和交互式应用中发挥重要作用。

📄 摘要（原文）

Recent progress in image and 3D scene generation has enabled increasingly realistic static environments, yet most methods remain confined to such static configurations. Generating dynamic scenes from natural language is fundamentally challenging: it requires joint reasoning over scene structure, temporal evolution, and physical feasibility, while ensuring reliable execution in modern physics engines. We present a unified framework for generating physically consistent dynamic 3D scenes from text, with outputs directly executable in Unreal Engine. Central to our approach is the \emph{Evolutive Scene Graph} (ESG), which specifies entities with physical attributes, spatial relations, and event-driven timelines in a machine-checkable form. Given a prompt, a large language model constructs and validates a complete ESG; spatial layouts are grounded via energy-minimized gradient optimization; timeline-constrained physical parameters are then optimized through differentiable simulation to satisfy user-specified events; and the resulting scene is compiled into an engine-executable class. Experiments on 10 scenes across three complexity levels show that our method achieves $16.4/18$ mean event completion, outperforming Scene Language, the strongest engine-executable baseline (SimWorld), and our ablation without physical optimization by a clear margin in event completion and parameter accuracy.