GATOR: Generative and Agentic 3D Object Reconstruction From Casual Images
作者: Qirui Wu, Stan Birchfield, Hesam Rabeti, Angel X. Chang, Bowen Wen
分类: cs.CV, cs.RO
发布日期: 2026-10-08
💡 一句话要点
提出GATOR框架以解决从随意图像重建3D物体的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D重建 生成模型 计算机视觉 多模态学习 语义条件
📋 核心要点
- 现有方法在从稀疏和不确定的观察中重建完整的3D物体时面临挑战，尤其是在处理遮挡和场景对齐方面。
- GATOR框架通过局部模态混合器和文本引导的语义条件，整合多种特征以提高3D重建的准确性和细节。
- 在多种场景下的实验表明，GATOR在几何和外观保真度上表现优异，且重建效率显著提升。
📝 摘要（中文）
重建完整的、与场景对齐的3D物体需要整合稀疏且不确定的观察数据，并推断被遮挡的表面。我们提出了GATOR，一个生成性和智能化的框架，能够从一张或多张图像中恢复纹理化的物体资产及其场景相对姿态。我们的局部模态混合器在交叉视图推理之前，耦合了补丁对齐的RGB、目标掩码和点图特征，保持场景上下文的同时区分目标与周围环境。文本引导的语义条件通过特定阶段的适配器，为结构、几何和外观生成补充了类别名称和物体标题。生成的资产初始化了一个多模态代理，提供实例特定的几何和姿态，以便通过观察引导的编辑-渲染-审查循环进行针对性的结构和纹理细化。在合成物体、杂乱的桌面和室内场景中，GATOR在从稀疏观察中恢复场景相对姿态时，达到了强大的几何和外观保真度。时间预算比较和场景级模拟进一步展示了重建效率和模拟准备性。
🔬 方法详解
问题定义：本论文旨在解决从稀疏和不确定的图像中重建完整的3D物体的问题。现有方法在处理遮挡和场景对齐时存在明显不足，导致重建效果不佳。
核心思路：GATOR框架的核心思路是通过局部模态混合器耦合多种特征，并结合文本引导的语义信息，以增强3D物体重建的准确性和细节表现。这样的设计使得模型能够更好地理解场景上下文和目标物体之间的关系。
技术框架：GATOR的整体架构包括局部模态混合器、文本引导的适配器和多模态代理。局部模态混合器负责整合RGB、目标掩码和点图特征，文本引导的适配器则提供语义信息，最后多模态代理用于生成和细化3D物体的几何和纹理。
关键创新：GATOR的主要创新在于其局部模态混合器和文本引导的语义条件，这使得模型能够在复杂场景中有效区分目标物体与背景，显著提升了重建的几何和外观保真度。
关键设计：在技术细节上，GATOR采用了特定的损失函数来优化生成的几何和纹理，同时在网络结构上引入了阶段性适配器，以便更好地处理结构、几何和外观生成的不同需求。通过观察引导的编辑-渲染-审查循环，进一步提升了重建的精度和效率。
🖼️ 关键图片
📊 实验亮点
在实验中，GATOR在合成物体、杂乱桌面和室内场景的重建任务中表现出色，几何和外观保真度显著高于现有基线方法。具体而言，GATOR在稀疏观察下的重建效率和准确性得到了显著提升，展示了其在实际应用中的潜力。
🎯 应用场景
GATOR框架在计算机视觉、机器人和增强现实等领域具有广泛的应用潜力。它可以用于自动化3D建模、虚拟现实环境的创建以及智能机器人对环境的理解与交互。未来，GATOR有望推动更高效的3D重建技术的发展，提升相关应用的智能化水平。
📄 摘要（原文）
Reconstructing complete, scene-aligned 3D objects from casual images requires integrating sparse, uncertain observations and inferring surfaces hidden by occlusions. We present GATOR, a generative and agentic framework that recovers textured object assets and their scene-relative pose from one or more images. Our local modality mixer couples patch-aligned RGB, target-mask, and pointmap features before cross-view reasoning, preserving scene context while distinguishing the target from its surroundings. Text-guided semantic conditioning complements these spatial cues with category names and object captions through stage-specific adapters for structure, geometry, and appearance generation. The generated asset initializes a multimodal agent, providing instance-specific geometry and pose for targeted structural and texture refinement through an observation-guided edit-render-review loop. Across synthetic objects, cluttered tabletops, and indoor scenes, GATOR achieves strong geometric and appearance fidelity while recovering scene-relative pose from sparse observations. Time-budget comparisons and scene-level simulation further demonstrate the reconstruction efficiency and simulation readiness. Project page: https://research.nvidia.com/labs/lpr/gator/