Guiding Image-to-3D Generation with Test-Time Partial Observations

📄 arXiv: 2609.10531v1 📥 PDF

作者: Jerred Chen, Simon Weber, Ronald Clark

分类: cs.CV

发布日期: 2026-09-09

💡 一句话要点

提出无训练框架以利用测试时部分几何观测指导图像到3D生成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像到3D生成 几何观测 无训练框架 生成模型 视觉质量提升

📋 核心要点

  1. 现有的图像到3D生成方法在几何精度上受到可用观测的限制，难以满足实际应用需求。
  2. 论文提出了一种无训练框架，利用测试时的部分几何观测指导生成过程，避免了重新训练的复杂性。
  3. 实验结果表明，该方法在不同的可观测性水平上显著提高了几何精度和视觉质量，展示了其有效性。

📝 摘要（中文）

图像到3D模型能够从单一RGB图像生成视觉上引人注目的3D资产，但其几何形状往往受到可用观测的松散约束，限制了其在需要几何精度的应用中的使用。然而，在许多现实场景中，测试时可能会获得部分几何观测。我们提出了一种无训练框架，将这些证据整合到预训练的图像到3D生成模型中，而无需重新训练或微调。通过在模型的占用表示上定义射线一致的观测似然性，我们结合了表面占用和自由空间证据。应用于SAM 3D及其多视图扩展，我们的方法在不同可观测性水平上显著提高了几何精度和视觉质量。我们的结果表明，预训练的图像到3D模型可以通过明确的测试时指导有效整合部分几何观测，补充其学习的生成先验，而无需修改基础模型。

🔬 方法详解

问题定义：本论文旨在解决现有图像到3D生成模型在几何精度上受到可用观测限制的问题。现有方法在缺乏完整几何信息时，生成的3D模型往往无法满足实际应用的需求。

核心思路：论文的核心思路是提出一种无训练框架，能够在测试时利用部分几何观测来指导生成过程。通过这种方式，模型可以在不重新训练的情况下，整合额外的几何信息，从而提高生成的3D模型的几何精度。

技术框架：整体架构包括两个主要模块：首先，利用射线一致的观测似然性来引导生成过程；其次，结合表面占用和自由空间证据，以增强模型的生成能力。该框架能够在不同的可观测性条件下灵活应用。

关键创新：最重要的技术创新在于提出了一种无训练的框架，能够在测试时有效整合部分几何观测。这一方法与现有需要重新训练的模型本质上有所区别，提供了一种更灵活的解决方案。

关键设计：关键设计包括射线一致的观测似然性定义，确保生成的3D模型与部分观测数据保持一致。此外，模型的占用表示和自由空间证据的结合也是提升生成质量的重要因素。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用该方法后，几何精度在不同可观测性水平上有显著提升，视觉质量也得到了改善。与基线模型相比，几何精度提高了XX%，视觉质量评分提升了YY%。这些结果表明，预训练的图像到3D模型能够有效整合部分几何观测，增强生成能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和工业设计等。通过提高图像到3D生成的几何精度，能够为设计师和开发者提供更高质量的3D资产，进而提升用户体验和产品质量。未来，该方法可能在自动化建模和增强现实等领域发挥更大作用。

📄 摘要（原文）

Image-to-3D models can generate visually compelling 3D assets from a single RGB image, but their geometry is often only loosely constrained by the available observations, limiting their use in applications that require geometric fidelity. In many real-world settings, however, partial geometric observations of the object may be available at test time. We introduce a training-free framework for incorporating such evidence into pretrained image-to-3D generative models without retraining or finetuning. To do this, we guide generation using a ray-consistent observation likelihood defined over the model's occupancy representation, combining surface occupancy and free-space evidence. Applied to SAM 3D and its multi-view extension, our approach substantially improves geometric fidelity across different levels of observability, as well as visual quality. Our results demonstrate that pretrained image-to-3D models can effectively integrate partial geometric observations through explicit test-time guidance, complementing their learned generative priors without modifying the underlying model.