Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model
作者: Long Le, Jason Xie, William Liang, Hung-Ju Wang, Yue Yang, Yecheng Jason Ma, Kyle Vedder, Arjun Krishna, Dinesh Jayaraman, Eric Eaton
分类: cs.CV
发布日期: 2024-10-03 (更新: 2025-06-02)
备注: ICLR 2025. Project website and open-source code: https://articulate-anything.github.io/
💡 一句话要点
Articulate-Anything：利用视觉-语言模型自动建模可动对象
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可动对象建模 视觉-语言模型 3D资产生成 机器人仿真 强化学习 数字孪生 PartNet-Mobility
📋 核心要点
- 现有创建可动3D对象的方法需要大量人工和专业知识，限制了其广泛应用，尤其是在AR/VR和机器人领域。
- Articulate-Anything利用视觉-语言模型生成可编译的代码，创建交互式数字孪生，并通过actor-critic系统迭代优化可动性。
- 在PartNet-Mobility数据集上，Articulate-Anything的成功率从8.7-11.6%提升至75%，并在真实视频数据上成功训练机器人策略。
📝 摘要（中文）
本文提出Articulate-Anything，一个自动生成可动对象模型的系统，旨在解决AR/VR、动画和机器人领域中交互式3D对象创建耗时耗力的问题。Articulate-Anything利用视觉-语言模型（VLMs）生成代码，这些代码可以被编译成交互式的数字孪生，用于标准的3D模拟器。该系统通过网格检索机制利用现有的3D资产数据集，并结合actor-critic系统迭代地提出、评估和改进对象的可动性解决方案，从而实现自我纠错并获得稳健的结果。定性评估表明，该系统能够通过丰富的输入信息来表达复杂甚至模糊的对象功能。在PartNet-Mobility数据集上的定量实验表明，Articulate-Anything显著优于现有方法，将成功率从8.7-11.6%提高到75%，为最先进的性能设定了新的标准。此外，该系统还展示了从真实视频输入生成3D资产的能力，这些资产可用于训练机器人策略，以执行超出基本抓取的精细操作任务，并将策略迁移到真实的机器人系统。
🔬 方法详解
问题定义：论文旨在解决自动创建可动3D对象的问题。现有方法依赖于大量的人工标注和专业知识，成本高昂且难以扩展到各种复杂的对象。因此，需要一种能够从多种输入模态（如文本、图像、视频）自动生成可动对象模型的方法。
核心思路：论文的核心思路是利用视觉-语言模型（VLMs）的强大能力，将不同模态的输入信息转化为可执行的代码，从而自动生成可动对象的数字孪生。通过结合现有的3D资产数据集和强化学习方法，系统能够迭代地优化对象的可动性，并实现自我纠错。
技术框架：Articulate-Anything系统主要包含以下几个模块：1) 输入模态处理：处理文本、图像和视频等输入信息，提取对象的语义和几何特征。2) 网格检索：从现有的3D资产数据集中检索与输入对象相似的网格模型。3) VLM代码生成：利用视觉-语言模型将提取的特征转化为描述对象可动性的代码。4) Actor-Critic优化：使用actor-critic强化学习算法迭代地评估和改进生成的代码，优化对象的可动性。5) 数字孪生构建：将生成的代码编译成交互式的数字孪生，用于3D模拟器。
关键创新：该论文的关键创新在于：1) 利用视觉-语言模型自动生成可动对象的代码，摆脱了对人工标注的依赖。2) 结合网格检索和强化学习，实现了对复杂对象可动性的迭代优化和自我纠错。3) 支持多种输入模态，包括文本、图像和视频，提高了系统的通用性和适用性。
关键设计：Actor-Critic网络的设计是关键。Actor网络负责提出可动性的解决方案（例如关节类型、位置和运动范围），Critic网络负责评估这些解决方案的质量。奖励函数的设计至关重要，需要能够反映对象可动性的真实性和交互性。此外，VLM的选择和训练也对代码生成的质量有重要影响。论文中具体使用的VLM类型和训练细节未知。
🖼️ 关键图片
📊 实验亮点
Articulate-Anything在PartNet-Mobility数据集上取得了显著的性能提升，成功率从现有方法的8.7-11.6%提高到75%，刷新了SOTA。此外，该系统还展示了从真实视频输入生成3D资产的能力，并成功地将训练好的机器人策略迁移到真实的机器人系统上，验证了其在实际应用中的可行性。
🎯 应用场景
Articulate-Anything具有广泛的应用前景，包括：1) AR/VR内容创作：自动生成交互式的3D对象，提升用户体验。2) 机器人仿真：创建逼真的虚拟环境，用于训练和测试机器人控制策略。3) 动画制作：快速生成可动角色和场景，提高制作效率。4) 工业设计：辅助设计可动部件和产品，进行虚拟原型验证。该研究有望降低3D内容创作的门槛，加速相关领域的发展。
📄 摘要（原文）
Interactive 3D simulated objects are crucial in AR/VR, animations, and robotics, driving immersive experiences and advanced automation. However, creating these articulated objects requires extensive human effort and expertise, limiting their broader applications. To overcome this challenge, we present Articulate-Anything, a system that automates the articulation of diverse, complex objects from many input modalities, including text, images, and videos. Articulate-Anything leverages vision-language models (VLMs) to generate code that can be compiled into an interactable digital twin for use in standard 3D simulators. Our system exploits existing 3D asset datasets via a mesh retrieval mechanism, along with an actor-critic system that iteratively proposes, evaluates, and refines solutions for articulating the objects, self-correcting errors to achieve a robust outcome. Qualitative evaluations demonstrate Articulate-Anything's capability to articulate complex and even ambiguous object affordances by leveraging rich grounded inputs. In extensive quantitative experiments on the standard PartNet-Mobility dataset, Articulate-Anything substantially outperforms prior work, increasing the success rate from 8.7-11.6% to 75% and setting a new bar for state-of-the-art performance. We further showcase the utility of our system by generating 3D assets from in-the-wild video inputs, which are then used to train robotic policies for fine-grained manipulation tasks in simulation that go beyond basic pick and place. These policies are then transferred to a real robotic system.