USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation
作者: Chuanrui Zhang, Zaijia Yang, Duomin Wang, Lu Shi, Daquan Zhou, Ruihua Zhang, Ziwei Wang
分类: cs.RO
发布日期: 2026-10-08
备注: Project page: https://xingyoujun.github.io/usdcraft
💡 一句话要点
提出USDCraft以解决真实与仿真机器人操作中的3D资产建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 3D建模 程序化建模 机器人操作 几何分析 大型语言模型 仿真技术 关节资产
📋 核心要点
- 现有的网格基础方法在处理真实世界物体时存在训练分布外推和网格不完整等挑战，限制了其应用。
- 本文提出USDCraft框架，通过程序化建模和几何分析，生成可执行程序以构建仿真准备的关节资产，避免了特定任务训练的需求。
- 实验结果显示，USDCraft在关节恢复方面在两个基准测试中表现优异，验证了其在机器人操作中的有效性。
📝 摘要（中文）
几何上真实且功能性的关节3D资产对于真实到仿真的机器人操作至关重要，然而现有的基于网格的方法在处理超出训练分布或网格不完整的真实物体时面临挑战。为了解决这些问题，本文提出了USDCraft框架，通过程序化建模结合部分几何证据，利用预训练的大型语言模型生成可执行程序，从而实现无需特定任务训练的仿真准备的关节资产建模。实验结果表明，USDCraft在两个基准测试上实现了领先的关节恢复效果，并验证了其在真实到仿真再到真实的机器人操作中的有效性。
🔬 方法详解
问题定义：本文旨在解决在真实到仿真机器人操作中，如何有效构建几何上真实且功能性的关节3D资产的问题。现有方法在处理真实物体时，尤其是当物体超出训练分布或网格不完整时，面临显著挑战。
核心思路：USDCraft框架通过程序化建模，结合部分几何证据，利用预训练的大型语言模型生成和修订可执行程序，从而实现无需特定任务训练的关节资产建模。
技术框架：USDCraft的整体架构包括源几何分析和迭代几何重检两个主要模块。源几何分析将源网格转换为度量文本描述，区分已观察表面与未知空间；迭代几何重检则对每个候选进行重新编码，以便发现差异并进行程序编辑。
关键创新：USDCraft的核心创新在于将关节资产重建视为程序化建模，利用几何分析和语言模型的结合，显著提升了建模的灵活性和准确性，尤其是在处理不完整或损坏的网格时。
关键设计：在设计中，USDCraft采用了源几何分析和迭代几何重检的组合，确保了对每个候选的准确描述和反馈，同时通过视觉反馈和物理创作指导来完善建模过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，USDCraft在两个基准测试中实现了领先的关节恢复效果，相较于现有方法，关节恢复的准确率提升了XX%，验证了其在真实到仿真再到真实的机器人操作中的有效性。
🎯 应用场景
USDCraft框架在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供高质量的3D资产建模工具，能够有效提升仿真环境的真实感和操作的准确性，推动机器人技术的进步和应用。
📄 摘要（原文）
Geometrically faithful and functional articulated 3D assets are essential for real-to-sim robot manipulation, where policies trained in simulation must transfer to physical objects. Recent mesh-based methods learn to infer articulation from annotated 3D assets, but deployment remains challenging when real-world objects fall outside the training distribution or their meshes are incomplete or corrupted. To address these limitations, we formulate articulated asset reconstruction as programmatic modeling grounded in partial geometric evidence and introduce USDCraft, a framework in which a pretrained LLM writes and revises executable programs for simulation-ready articulated assets without task-specific training. We propose source geometry analysis, which converts the source mesh into a metric textual description that distinguishes observed surface from unknown space, and iterative geometric rechecking, which re-encodes each candidate in the same representation so that discrepancies point to program edits while unobserved regions remain open to completion. Visual feedback and physical authoring guidance complete the modeling process, which produces articulated USD assets with explicit physical properties that load into Isaac Sim without manual adjustment. Experiments demonstrate leading articulation recovery on two benchmarks and validate USDCraft's effectiveness for real-to-sim-to-real robot manipulation.