RigAnything: Template-Free Autoregressive Rigging for Diverse 3D Assets
作者: Isabella Liu, Zhan Xu, Wang Yifan, Hao Tan, Zexiang Xu, Xiaolong Wang, Hao Su, Zifan Shi
分类: cs.CV
发布日期: 2025-02-13 (更新: 2025-10-23)
备注: SIGGRAPH TOG 2025, Project page: https://www.liuisabella.com/RigAnything
DOI: 10.1145/3731149
💡 一句话要点
RigAnything：提出一种无需模板的自回归骨骼绑定方法，适用于多样化的3D资产。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 自动绑定 骨骼绑定 自回归模型 Transformer 扩散模型
📋 核心要点
- 现有自动绑定方法依赖预定义模板，限制了其对特定类别3D模型的适用性，难以处理多样化的3D资产。
- RigAnything 采用自回归Transformer模型，无需模板即可概率性地生成关节和骨骼拓扑，并分配蒙皮权重。
- 实验表明，RigAnything 在多种对象类型上实现了最先进的性能，并在质量、鲁棒性、泛化性和效率方面超越了现有方法。
📝 摘要（中文）
RigAnything 提出了一种新颖的基于自回归 Transformer 的模型，通过概率性地生成关节和骨骼拓扑，并以无模板的方式分配蒙皮权重，使 3D 资产能够进行绑定。与大多数依赖于预定义骨骼模板且仅限于类人生物等特定类别的现有自动绑定方法不同，RigAnything 以自回归方式处理绑定问题，迭代地基于全局输入形状和先前的预测来预测下一个关节。虽然自回归模型通常用于生成序列数据，但 RigAnything 将其应用扩展到有效地学习和表示骨骼，骨骼本质上是树结构。为此，我们将关节按广度优先搜索 (BFS) 顺序排列，从而可以将骨骼定义为 3D 位置和父索引的序列。此外，我们的模型通过利用扩散模型提高了位置预测的准确性，确保了层次结构中关节的精确和一致的放置。这种公式允许自回归模型有效地捕获骨骼内的空间和层次关系。RigAnything 在 RigNet 和 Objaverse 数据集上进行端到端训练，展示了在包括类人生物、四足动物、海洋生物、昆虫等多种对象类型上的最先进性能，在质量、鲁棒性、泛化性和效率方面超越了先前的方法。它实现了比现有自动绑定方法快得多的性能，每个形状的绑定在几秒钟内完成。
🔬 方法详解
问题定义：现有自动绑定方法通常依赖于预定义的骨骼模板，这限制了它们对特定类别（如类人生物）的适用性。对于具有复杂拓扑结构或不符合预定义模板的3D资产，这些方法难以生成高质量的绑定结果。因此，如何实现对多样化3D资产的通用、高效且高质量的自动绑定是一个关键问题。
核心思路：RigAnything 的核心思路是将骨骼绑定问题转化为一个自回归序列生成问题。模型迭代地预测下一个关节的位置和父节点，基于全局形状信息和先前预测的关节。通过这种方式，模型可以学习骨骼的空间和层次结构，而无需依赖预定义的模板。使用广度优先搜索（BFS）顺序组织关节，将骨骼表示为3D位置和父索引的序列，使得自回归模型能够有效地处理树状结构的骨骼。
技术框架：RigAnything 的整体框架是一个基于 Transformer 的自回归模型。该模型接收 3D 资产的形状作为输入，并迭代地预测骨骼的关节。模型使用扩散模型来提高关节位置预测的准确性。整个模型在 RigNet 和 Objaverse 数据集上进行端到端训练。主要模块包括：形状编码器（提取全局形状特征）、自回归 Transformer 解码器（预测关节位置和父索引）、扩散模型（优化关节位置）。
关键创新：RigAnything 的最重要创新在于其无模板的自回归绑定方法。与现有方法不同，RigAnything 不需要预定义的骨骼模板，因此可以处理各种形状和拓扑结构的 3D 资产。此外，该模型使用扩散模型来提高关节位置预测的准确性，从而生成更高质量的绑定结果。将骨骼绑定问题转化为自回归序列生成问题，并使用BFS顺序组织关节，使得模型能够有效地学习骨骼的空间和层次结构。
关键设计：模型使用 Transformer 解码器进行自回归预测，损失函数包括关节位置预测损失和父索引预测损失。扩散模型被用于细化关节位置，损失函数为扩散模型的标准损失函数。BFS顺序用于组织关节，确保骨骼的层次结构被正确编码。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
RigAnything 在 RigNet 和 Objaverse 数据集上进行了评估，并在各种对象类型上实现了最先进的性能。与现有方法相比，RigAnything 在质量、鲁棒性、泛化性和效率方面均有显著提升。值得注意的是，RigAnything 可以在几秒钟内完成单个 3D 模型的绑定，这比现有方法快得多。具体性能数据未知。
🎯 应用场景
RigAnything 具有广泛的应用前景，包括游戏开发、动画制作、虚拟现实和增强现实等领域。它可以显著减少 3D 资产绑定的时间和成本，提高生产效率。此外，RigAnything 的通用性使其能够处理各种形状和拓扑结构的 3D 模型，从而为创意人员提供更大的灵活性和自由度。未来，该技术可以进一步扩展到自动生成角色动画和控制系统。
📄 摘要（原文）
We present RigAnything, a novel autoregressive transformer-based model, which makes 3D assets rig-ready by probabilistically generating joints and skeleton topologies and assigning skinning weights in a template-free manner. Unlike most existing auto-rigging methods, which rely on predefined skeleton templates and are limited to specific categories like humanoid, RigAnything approaches the rigging problem in an autoregressive manner, iteratively predicting the next joint based on the global input shape and the previous prediction. While autoregressive models are typically used to generate sequential data, RigAnything extends its application to effectively learn and represent skeletons, which are inherently tree structures. To achieve this, we organize the joints in a breadth-first search (BFS) order, enabling the skeleton to be defined as a sequence of 3D locations and the parent index. Furthermore, our model improves the accuracy of position prediction by leveraging diffusion modeling, ensuring precise and consistent placement of joints within the hierarchy. This formulation allows the autoregressive model to efficiently capture both spatial and hierarchical relationships within the skeleton. Trained end-to-end on both RigNet and Objaverse datasets, RigAnything demonstrates state-of-the-art performance across diverse object types, including humanoids, quadrupeds, marine creatures, insects, and many more, surpassing prior methods in quality, robustness, generalizability, and efficiency. It achieves significantly faster performance than existing auto-rigging methods, completing rigging in under a few seconds per shape. Please check our website for more details: https://www.liuisabella.com/RigAnything