Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark
作者: Xudong Cai, Ruijie Zhu, Haoliang Shang, Ruining Li, Marc Pollefeys, Shangzhe Wu, Andrea Vedaldi, Chuanxia Zheng
分类: cs.CV
发布日期: 2026-10-09
💡 一句话要点
提出Artisan系统以生成物理基础的关节3D资产
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 3D资产生成 物理仿真 多智能体系统 空间保真度 物理合理性 关节运动 生成模型 虚拟现实
📋 核心要点
- 现有方法主要关注物体的外观，缺乏对物体运动和功能的全面捕捉，导致生成的3D资产在实际应用中存在局限性。
- 本文提出的Artisan系统通过多智能体管道和物理仿真反馈，能够生成具备碰撞自由运动、重力稳定性及准确质量和材料属性的3D资产。
- 实验结果显示，Artisan在空间保真度方面具有竞争力，同时在评估的模型中实现了最低的碰撞率和最高的稳定性率，显著提升了生成资产的实用性。
📝 摘要（中文）
本文研究了物理基础的关节3D资产生成，目标从单纯的外观再现转向捕捉物体的运动和功能。我们提出了Artisan系统，扩展了最新的Articraft方法，通过引入多智能体管道和物理仿真反馈，增强了几何、外观及物理可行性等属性。我们构建了一个统一的基准，涵盖空间保真度、物理合理性、下游任务性能和整体质量等四个关键方面。经过对10个代表性模型的广泛评估，Artisan在空间保真度上表现出色，同时在碰撞率和稳定性方面也达到了最佳效果。
🔬 方法详解
问题定义：本文旨在解决现有3D资产生成方法在物体运动和功能捕捉方面的不足，现有方法主要集中于外观再现，缺乏物理基础的关节运动生成。
核心思路：Artisan系统通过引入多智能体管道和物理仿真反馈，扩展了传统生成方法，能够生成不仅在几何和外观上合理，同时在物理行为上也符合实际的3D资产。
技术框架：Artisan的整体架构包括多个模块：首先是物理仿真模块，负责模拟物体的运动；其次是生成模块，利用多智能体协作生成资产；最后是评估模块，基于空间保真度和物理合理性等指标进行综合评估。
关键创新：Artisan的主要创新在于引入了物理反馈机制，使得生成的3D资产不仅在视觉上真实，同时在物理行为上也具备合理性，这与现有方法的单一几何生成形成了鲜明对比。
关键设计：在参数设置上，Artisan采用了针对物理属性的损失函数，确保生成资产在运动时的稳定性和碰撞避免；网络结构上，结合了多智能体的协作机制，以提高生成效率和质量。
🖼️ 关键图片
📊 实验亮点
在实验中，Artisan系统在空间保真度方面表现优异，同时实现了最低的碰撞率和最高的稳定性率，相较于其他评估方法，提升幅度显著，展示了其在生成物理基础3D资产中的优势。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和动画制作等，能够为这些领域提供更为真实和功能性强的3D资产，提升用户体验和交互效果。未来，Artisan系统有望推动3D生成技术向更高的物理合理性和实用性发展。
📄 摘要（原文）
In this paper, we study physically grounded articulated 3D asset generation---moving the goal from reproducing how objects look to capturing how they move and function. Inspired by the literature on procedural and agentic generation, we present Artisan, a system that extends the latest method Articraft by introducing a multi-agent pipeline with physical simulation feedback, enabling comprehensive attributes beyond geometry, appearance, and physically plausible articulation, such as collision-free motion, stability under gravity, and accurate mass and material properties. Furthermore, we construct a unified benchmark spanning four key aspects: spatial fidelity, physical plausibility, downstream task performance, and overall quality. The benchmark encompasses 100 reference assets from ArtVIP and LightWheel, 50 stability prompts, and 50 ABO objects with reference masses, with protocols evaluating various metrics. Through extensive evaluation of more than 10 representative models, Artisan achieves competitive spatial fidelity while attaining the lowest collision rates and highest stability rates among the evaluated methods. Together, our system and benchmark establish insights for advancing 3D generation towards physically plausible, functionally usable assets.