Geometry-Guided Modeling of Foundation Features Enables Generalizable Object Shape Deformation Learning
作者: Yiyao Ma, Kai Chen, Zhongxiang Zhou, Zhuheng Song, Dongsheng Xie, Zelong Tan, Rong Xiong, Qi Dou
分类: cs.CV
发布日期: 2026-05-28
备注: 20 pages, 12 figures, accepted by ICML 2026
💡 一句话要点
提出几何引导的形变学习框架，实现通用物体形状重建
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 单目三维重建 形状形变 几何引导 视角自适应 特征聚合
📋 核心要点
- 现有单目3D形状恢复方法在处理任意视角和未见过的物体类别时，泛化能力不足，难以应对复杂的形状变化。
- 提出一种几何引导的形变学习框架，通过形变类别级别的形状模板来匹配目标观测，实现3D物体重建。
- 实验结果表明，该方法在处理大形状变化和不同视角方面优于现有方法，并能泛化到新的类别，支持机器人操作。
📝 摘要（中文）
单目3D形状恢复是几何理解的基础，但在任意视角和未见过的物体类别上实现鲁棒的泛化仍然是一个重大挑战。本文提出了一种通用的形变学习框架，通过显式地将类别级别的形状模板进行形变以匹配目标观测来重建3D物体。为了解决模板和目标之间复杂的形状变化，我们引入了一种几何引导的特征建模机制。该机制首先利用模板拓扑来丰富基础特征，从而产生几何感知的表示，然后将其与目标观测显式地关联，以指导精确的形变。此外，为了弥合固定模板和任意目标视角之间的差异，我们提出了一种视角自适应的特征聚合模块。该模块利用多视角模板特征及其对应的相机姿态来丰富规范模板表示，确保鲁棒的特征对齐，而无需考虑目标的视角。大量实验表明，我们的方法在处理大的形状变化和不同的视角方面显著优于最先进的方法，对新的类别表现出强大的泛化能力，并有效地支持下游的真实世界灵巧机器人操作任务。
🔬 方法详解
问题定义：论文旨在解决单目图像三维形状重建问题，尤其关注在不同视角和未见物体类别下的泛化能力。现有方法难以处理模板和目标之间较大的形状差异，且视角变化会影响特征对齐，导致重建精度下降。
核心思路：论文的核心思路是利用类别级别的形状模板，通过学习形变场将模板形变为目标物体的形状。为了提高泛化能力和鲁棒性，引入了几何引导的特征建模机制和视角自适应的特征聚合模块。
技术框架：整体框架包含以下几个主要模块：1) 基础特征提取模块，从输入图像中提取特征；2) 几何引导的特征建模模块，利用模板拓扑信息增强特征表示，并与目标观测进行关联；3) 视角自适应的特征聚合模块，利用多视角模板特征和相机姿态信息，增强模板表示；4) 形变场预测模块，预测从模板到目标形状的形变场；5) 形状重建模块，将模板进行形变，得到最终的3D形状重建结果。
关键创新：论文的关键创新在于：1) 提出几何引导的特征建模机制，显式地利用模板的几何信息来指导形变学习，从而更好地处理形状差异；2) 提出视角自适应的特征聚合模块，通过融合多视角信息，增强了模型对视角变化的鲁棒性。与现有方法相比，该方法更注重利用几何先验知识和视角信息，从而提高了泛化能力。
关键设计：几何引导的特征建模模块中，使用图卷积网络(GCN)来编码模板的拓扑结构，并将GCN的输出与目标观测的特征进行相关性计算，得到几何感知的特征表示。视角自适应的特征聚合模块中，使用注意力机制来融合不同视角的模板特征，并根据相机姿态信息进行加权。损失函数包括形状重建损失、形变场正则化损失等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在ShapeNet数据集上取得了显著的性能提升，尤其是在处理具有较大形状变化和不同视角的物体时。与现有方法相比，该方法在重建精度和泛化能力方面均有明显优势。此外，该方法还成功应用于真实的机器人操作任务中，验证了其在实际应用中的有效性。
🎯 应用场景
该研究成果可应用于机器人视觉、增强现实、三维建模等领域。例如，机器人可以利用该技术从单目图像中重建物体的三维形状，从而进行抓取、操作等任务。在增强现实中，可以将重建的三维模型与真实场景进行融合，提供更丰富的用户体验。此外，该技术还可以用于三维模型的自动生成和编辑。
📄 摘要（原文）
Monocular 3D shape recovery is fundamental to geometric understanding, yet achieving robust generalization across arbitrary viewpoints and unseen object categories remains a significant challenge. In this paper, we present a generalizable deformation learning framework that reconstructs 3D objects by explicitly deforming a category-level shape template to match the target observation. To address complex shape variations between the template and the target, we introduce a geometry-guided feature modeling mechanism. This process first enriches foundation features with template topology to yield a geometry-aware representation, which is then explicitly correlated with the target observation to guide precise deformation. Furthermore, to bridge the disparity between the fixed template and arbitrary target views, we propose a view-adaptive feature aggregation module. This module leverages multi-view template features and their corresponding camera poses to enrich the canonical template representation, ensuring robust feature alignment regardless of the target's perspective. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art methods in handling large shape variations and diverse viewpoints, exhibiting strong generalization to novel categories and effectively supporting downstream real-world dexterous robotic manipulation tasks. Project homepage: https://GODeform.github.io/