LLM-to-Phy3D: Physically Conform Online 3D Object Generation with LLMs

📄 arXiv: 2506.11148v1 📥 PDF

作者: Melvin Wong, Yueming Lyu, Thiago Rios, Stefan Menzel, Yew-Soon Ong

分类: cs.CV, cs.LG

发布日期: 2025-06-11

💡 一句话要点

提出LLM-to-Phy3D以解决物理约束下的3D对象生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成性人工智能 大型语言模型 3D对象生成 物理一致性 工程设计 黑箱优化 视觉评估 物理评估

📋 核心要点

  1. 现有的LLM-to-3D模型缺乏物理知识，导致生成的3D对象无法满足现实世界的物理约束。
  2. LLM-to-Phy3D通过引入在线黑箱优化循环，结合视觉和物理评估，实时生成符合物理约束的3D对象。
  3. 实验结果显示，LLM-to-Phy3D在车辆设计优化中，生成物理一致的3D设计提升幅度达到4.5%至106.7%。

📝 摘要（中文）

生成性人工智能（GenAI）和大型语言模型（LLMs）的出现，彻底改变了数字内容创作的格局。然而，在工程设计中，物理可行性至关重要的应用仍然未被充分探索。现有的LLM-to-3D模型缺乏物理知识，导致生成的输出与现实物理约束脱节。为此，本文提出LLM-to-Phy3D，一种在线物理一致的3D对象生成方法，能够实时生成符合物理约束的3D对象。该方法引入了一种新颖的在线黑箱优化循环，通过视觉和基于物理的评估，提供方向性反馈，推动生成具有更高物理性能和几何新颖性的3D工件。系统评估表明，LLM-to-Phy3D在车辆设计优化中，较传统LLM-to-3D模型在生成物理一致目标领域3D设计方面提升了4.5%至106.7%。

🔬 方法详解

问题定义：本文旨在解决现有LLM-to-3D模型在生成3D对象时缺乏物理约束的问题，导致生成的对象不符合现实物理条件。

核心思路：LLM-to-Phy3D通过引入在线黑箱优化循环，结合视觉和物理评估，为大型语言模型提供方向性反馈，从而生成符合物理约束的3D对象。

技术框架：该方法的整体架构包括输入提示、黑箱优化循环、视觉与物理评估模块，以及最终的3D对象生成模块。每个模块在生成过程中相互协作，确保输出的3D对象符合物理要求。

关键创新：LLM-to-Phy3D的主要创新在于其在线黑箱优化循环，通过迭代反馈机制，显著提升了生成3D对象的物理性能和几何新颖性，区别于传统的LLM-to-3D模型。

关键设计：在设计中，采用了特定的损失函数来平衡物理一致性与几何新颖性，网络结构则结合了视觉特征提取与物理模拟的模块，以实现高效的3D对象生成。

📊 实验亮点

实验结果表明，LLM-to-Phy3D在车辆设计优化中，生成的物理一致目标领域3D设计相比传统LLM-to-3D模型提升了4.5%至106.7%，显示出显著的性能改进，验证了该方法的有效性和实用性。

🎯 应用场景

LLM-to-Phy3D的研究成果在科学与工程应用中具有广泛的潜在应用价值，尤其是在需要生成符合物理约束的3D设计的领域，如产品设计、建筑建模和虚拟现实等。未来，该方法有望推动物理人工智能的发展，提升设计效率与创新能力。

📄 摘要（原文）

The emergence of generative artificial intelligence (GenAI) and large language models (LLMs) has revolutionized the landscape of digital content creation in different modalities. However, its potential use in Physical AI for engineering design, where the production of physically viable artifacts is paramount, remains vastly underexplored. The absence of physical knowledge in existing LLM-to-3D models often results in outputs detached from real-world physical constraints. To address this gap, we introduce LLM-to-Phy3D, a physically conform online 3D object generation that enables existing LLM-to-3D models to produce physically conforming 3D objects on the fly. LLM-to-Phy3D introduces a novel online black-box refinement loop that empowers large language models (LLMs) through synergistic visual and physics-based evaluations. By delivering directional feedback in an iterative refinement process, LLM-to-Phy3D actively drives the discovery of prompts that yield 3D artifacts with enhanced physical performance and greater geometric novelty relative to reference objects, marking a substantial contribution to AI-driven generative design. Systematic evaluations of LLM-to-Phy3D, supported by ablation studies in vehicle design optimization, reveal various LLM improvements gained by 4.5% to 106.7% in producing physically conform target domain 3D designs over conventional LLM-to-3D models. The encouraging results suggest the potential general use of LLM-to-Phy3D in Physical AI for scientific and engineering applications.