Functionalization via Structure Completion and Motion Rectification
作者: Mingrui Zhao, Sai Raj Kishore Perla, Kai Wang, Sauradip Nag, Duc Anh Nguyen, Jiayi Peng, Ruiqi Wang, Angel X. Chang, Manolis Savva, Ali Mahdavi-Amiri, Hao Zhang
分类: cs.CV, cs.GR
发布日期: 2026-05-18
💡 一句话要点
提出基于图补全的物体功能化方法，实现3D模型结构补全与运动修正
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D模型功能化 图补全 功能图 运动修正 神经图网络
📋 核心要点
- 现有3D模型缺乏功能性结构，人工标注运动也常有误差，导致模型不符合物理规律，难以直接使用。
- 论文提出基于图补全的物体功能化方法，通过补全功能图来修复3D模型的结构缺陷，并修正错误的运动。
- 实验表明，该方法在运动预测精度上与SOTA方法相当，并在碰撞和连通性方面显著提高了功能性。
📝 摘要（中文）
现有的3D模型获取和创建方式主要受视角和外观驱动，导致模型缺乏必要的功能性结构组件，如关节、支撑、内部结构或交互元素。同时，人工标注的运动也常有误差，导致不符合物理规律的行为。本文提出了物体功能化这一新任务，旨在将视觉上合理但功能缺失的3D模型转化为功能完备且物理上可操作的模型。我们将功能化建模为一个基于新型功能图表示的图补全问题，其中带标签的节点代表物体部件，带标签的边编码功能和接触关系，可移动节点携带运动属性，结构功能缺陷表现为缺失的节点或错误的边。我们开发了一个神经图功能化器(GraFu)来补全表示非功能性3D物体的残缺图。补全后的图驱动几何实现阶段，在3D中实例化预测的连接器和结构元素，并带来修正错误的人工标注和预测运动的良好副作用。为了支持训练和评估，我们构建了FurFun-233数据集，包含233个配对的非功能性和功能化家具模型。在PartNet-Mobility和HSSD测试集上，我们的方法在运动预测精度上与最先进的方法相匹配，同时在碰撞和连通性方面显著提高了功能性。
🔬 方法详解
问题定义：论文旨在解决3D模型的功能化问题，即如何将视觉上合理但功能缺失的模型转化为功能完备且物理上可操作的模型。现有方法主要关注外观和几何形状，忽略了模型的功能性结构和运动属性，导致模型无法直接用于交互和仿真等应用。人工标注的运动数据也存在误差，进一步降低了模型的可用性。
核心思路：论文的核心思路是将功能化问题建模为一个图补全问题。通过构建功能图来表示3D模型，其中节点代表物体部件，边代表功能和接触关系，可移动节点携带运动属性。功能缺陷表现为图中的缺失节点或错误边。通过补全功能图，可以修复模型的结构缺陷，并修正错误的运动。
技术框架：整体框架包含两个主要阶段：图功能化阶段和几何实现阶段。在图功能化阶段，使用神经图功能化器(GraFu)补全表示非功能性3D物体的残缺图。在几何实现阶段，根据补全后的图，在3D中实例化预测的连接器和结构元素，并修正错误的运动。
关键创新：论文的关键创新在于将功能化问题建模为一个图补全问题，并提出了神经图功能化器(GraFu)来解决该问题。GraFu能够学习物体部件之间的功能和接触关系，并根据这些关系补全残缺的图结构。此外，该方法还能够修正错误的人工标注和预测运动，提高模型的物理合理性。
关键设计：论文使用了一种新的功能图表示，其中节点代表物体部件，边代表功能和接触关系，可移动节点携带运动属性。GraFu采用图神经网络结构，能够学习节点和边的表示，并根据这些表示预测缺失的节点和边。损失函数包括节点分类损失、边分类损失和运动预测损失。几何实现阶段使用参数化的几何模板来实例化预测的连接器和结构元素。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在PartNet-Mobility和HSSD测试集上，在运动预测精度上与最先进的方法相匹配，同时在碰撞和连通性方面显著提高了功能性。FurFun-233数据集的构建也为该领域的研究提供了新的资源。
🎯 应用场景
该研究成果可应用于机器人、虚拟现实、游戏等领域。例如，可以用于生成具有物理交互能力的虚拟家具模型，用于训练机器人的操作技能。此外，还可以用于修复和增强现有的3D模型，提高其可用性和真实感。未来，该技术有望扩展到更广泛的物体类别，并应用于更复杂的场景。
📄 摘要（原文）
Acquisition and creation of 3D assets have been largely view- or appearance-driven. As a result, existing digital 3D models often lack the requisite structural components to function as intended, such as joints, supports, interiors, or interaction elements. At the same time, even human-annotated motions are frequently error-prone, leading to physically implausible behavior. We introduce object functionalization, a novel task aimed at transforming visually plausible but non-functional 3D models into functional and physically operable ones. We formulate functionalization as a graph completion problem over a new functional graph representation, where labeled nodes represent object parts, labeled edges encode functional and contact relations, and movable nodes carry motion attributes, so that structural functional deficiencies manifest as missing nodes or incorrect edges. We develop a neural Graph Functionalizer (GraFu) to complete an incomplete graph representing a non-functional 3D object. The completed graph then drives a geometry realization stage that instantiates predicted connectors and structural elements in 3D, with the compelling side effect of rectifying erroneous human-annotated and predicted motions. To support training and evaluation, focusing on furniture as a rich and challenging target category, we introduce FurFun-233, a dataset of 233 paired non-functional and functionalized furniture models. On PartNet-Mobility ("zero-shot") and HSSD test sets, our method matches state-of-the-art methods in motion prediction accuracy while substantially improving functionality in terms of collision and connectivity.