Text2Sim: Agentic Physics-Based Simulation Generation with Distilled Expertise
作者: Xiaoyu Xiong, Tsun-Hsuan Wang, Yi-Ling Qiao, Tao Du, Minchen Li
分类: cs.GR, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出Text2Sim以解决物理仿真生成的复杂性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理仿真 文本生成 智能化管道 调试卡 多样性生成
📋 核心要点
- 现有的物理仿真生成方法需要大量人工设计和调试，效率低下且难以实现多样性。
- Text2Sim通过将文本请求转化为动态案例，利用分层智能结构和调试卡来简化仿真生成过程。
- 实验结果表明，Text2Sim在物理和视觉质量评估中均优于现有四个基线，且用户偏好明显更倾向于Text2Sim。
📝 摘要（中文）
创建多样化的物理仿真仍然是一个劳动密集型的过程，因为资产、布局、物理参数、运动、控制和渲染必须共同设计和调试。我们提出了Text2Sim，这是一种专门针对仿真的智能化管道，能够将仅有文本的请求转换为可执行、可编辑的动态案例。Text2Sim基于Genesis，采用分层的智能结构，结合了规划者、专门的写作工具、资产生成工具和独立的评论者。通过从图形演示中提炼的紧凑技能（调试卡），为执行修复提供了角色特定的物理指导。我们在42个保留提示上评估了物理质量、视觉质量和人类偏好，结果显示Text2Sim在这两个指标上均优于所有四个最先进的基线。
🔬 方法详解
问题定义：本论文旨在解决物理仿真生成过程中的复杂性和劳动密集型问题，现有方法在资产设计、布局和调试方面存在效率低下的痛点。
核心思路：Text2Sim通过将文本请求转换为可执行的动态案例，采用分层的智能结构，结合规划者和专门的写作工具，旨在简化仿真生成过程并提高效率。
技术框架：整体架构包括一个规划者、多个写作工具、资产生成工具和一个独立的评论者。规划者负责整体设计，写作工具和资产生成工具则负责具体的实现和调试。
关键创新：最重要的创新在于引入了调试卡（Debug Cards），这些卡片从图形演示中提炼出紧凑技能，为执行提供角色特定的物理指导，从而实现更高效的修复和调试。
关键设计：在技术细节上，Text2Sim设计了自动化的物理和视觉评分系统，以评估结果质量，并在多个指标上超越现有基线。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Text2Sim在物理质量和视觉质量评估中均优于四个最先进的基线，自动评分系统的结果与用户偏好一致，表明Text2Sim在用户体验方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实、教育模拟等，能够显著降低物理仿真生成的时间和成本，提高开发效率。未来，Text2Sim还可以扩展到多模态输入，进一步丰富仿真场景的多样性和复杂性。
📄 摘要（原文）
Creating diverse physical simulations remains labor-intensive because assets, layout, physical parameters, motion, control, and rendering must be designed and debugged jointly. We present Text2Sim, a simulation-specialized agentic pipeline that converts a text-only request into an executable, editable dynamic case. Built on Genesis, Text2Sim uses a hierarchical agentic structure that combines a Planner with specialized Writers, asset-generation tools, and an independent Critic. Compact skills (Debug Cards) distilled from graphics demonstrations provide role-specific physical guidance for execution-based repair. We evaluate physical quality, visual quality, and human preference on 42 held-out prompts spanning rigid, articulated, deformable, and cloth phenomena, with a paper-level split between experience construction and evaluation. We design automatic physical and visual scorers to evaluate the quality of the results, and Text2Sim achieves higher scores than all four state-of-the-art baselines on both metrics. In blinded user studies with these baselines, significantly more participants prefer Text2Sim than prefer the baselines, which is consistent with the results from our automatic scorers. The pipeline also supports a broad range of downstream applications; we select dataset construction and extension to multimodal input as two representative examples. We will release the code, the Debug Card library, and a dataset of generated cases, each pairing the text prompt and rendered video with the executable program, assets, physical parameters, controls, and recorded states.