Peering into the Unknown: Active View Selection with Neural Uncertainty Maps for 3D Reconstruction

📄 arXiv: 2506.14856v1 📥 PDF

作者: Zhengquan Zhang, Feng Xu, Mengmi Zhang

分类: cs.CV, cs.AI

发布日期: 2025-06-17

备注: 9 pages, 3 figures in the main text. Under review for NeurIPS 2025

💡 一句话要点

提出基于神经不确定性图的主动视角选择以优化3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 主动视角选择 3D重建 神经网络 不确定性图 计算机视觉 深度学习 高效算法

📋 核心要点

  1. 主动视角选择（AVS）在3D重建中面临挑战，现有方法未能有效识别最具信息量的视角。
  2. 本文提出UPNet，通过预测神经不确定性图，直接从视角外观映射到不确定性，优化视角选择过程。
  3. 实验结果显示，使用本方法的视角数量减少一半，但重建精度与竞争方法相当，同时显著降低计算资源消耗。

📝 摘要（中文）

在3D物体重建中，不同视角提供的信息量差异显著。本文提出了一种新颖的主动视角选择（AVS）方法，通过轻量级前馈深度神经网络UPNet预测神经不确定性图，帮助选择最具信息量的视角。UPNet从单张输入图像中输出不确定性图，表示所有候选视角的不确定性值。通过聚合先前预测的不确定性图，抑制冗余视角，最终选择出最有价值的视角。实验表明，尽管使用的视角数量仅为上限的一半，该方法在重建精度上表现出色，并在计算开销上实现高达400倍的加速，同时CPU、RAM和GPU的使用量减少超过50%。

🔬 方法详解

问题定义：本文旨在解决主动视角选择（AVS）在3D重建中的挑战，现有方法往往无法有效识别出最具信息量的视角，导致重建精度不足和计算资源浪费。

核心思路：提出了一种基于神经不确定性图的AVS方法，利用轻量级深度神经网络UPNet，从单张输入图像中预测不确定性图，以此指导视角选择。该设计旨在通过直接映射视角外观与不确定性，提升选择效率和重建质量。

技术框架：整体流程包括输入单张图像，使用UPNet生成不确定性图，聚合多个不确定性图以抑制冗余视角，最终选择最具信息量的视角进行3D重建。主要模块包括UPNet网络、视角聚合模块和重建模型训练。

关键创新：最重要的创新在于通过神经不确定性图来指导视角选择，这一方法与传统的基于辐射场学习的方式有本质区别，能够更有效地利用信息。

关键设计：UPNet的网络结构经过优化，以实现快速推理，损失函数设计考虑了不确定性预测的准确性，确保了模型在多种物体类别上的泛化能力。具体参数设置和训练细节未在摘要中详细说明，需参考原文。

📊 实验亮点

实验结果显示，尽管仅使用上限一半的视角，本文方法在重建精度上与其他竞争AVS方法相当。此外，计算开销显著降低，达到400倍的加速，CPU、RAM和GPU的使用量减少超过50%，展现了优越的性能和效率。

🎯 应用场景

该研究在3D重建、计算机视觉和机器人等领域具有广泛的应用潜力。通过优化视角选择，可以在虚拟现实、增强现实和自动驾驶等场景中实现更高效的3D建模和环境理解，提升系统的智能化水平和用户体验。未来，该方法有望推广至更多新物体类别的AVS任务，进一步拓展其应用范围。

📄 摘要（原文）

Some perspectives naturally provide more information than others. How can an AI system determine which viewpoint offers the most valuable insight for accurate and efficient 3D object reconstruction? Active view selection (AVS) for 3D reconstruction remains a fundamental challenge in computer vision. The aim is to identify the minimal set of views that yields the most accurate 3D reconstruction. Instead of learning radiance fields, like NeRF or 3D Gaussian Splatting, from a current observation and computing uncertainty for each candidate viewpoint, we introduce a novel AVS approach guided by neural uncertainty maps predicted by a lightweight feedforward deep neural network, named UPNet. UPNet takes a single input image of a 3D object and outputs a predicted uncertainty map, representing uncertainty values across all possible candidate viewpoints. By leveraging heuristics derived from observing many natural objects and their associated uncertainty patterns, we train UPNet to learn a direct mapping from viewpoint appearance to uncertainty in the underlying volumetric representations. Next, our approach aggregates all previously predicted neural uncertainty maps to suppress redundant candidate viewpoints and effectively select the most informative one. Using these selected viewpoints, we train 3D neural rendering models and evaluate the quality of novel view synthesis against other competitive AVS methods. Remarkably, despite using half of the viewpoints than the upper bound, our method achieves comparable reconstruction accuracy. In addition, it significantly reduces computational overhead during AVS, achieving up to a 400 times speedup along with over 50\% reductions in CPU, RAM, and GPU usage compared to baseline methods. Notably, our approach generalizes effectively to AVS tasks involving novel object categories, without requiring any additional training.