Less Is More: Genetic Frame Selection for Efficient Novel View Synthesis
作者: Diego E. Farchione, Ramzi Idoughi, Alberto Jaspe-Villanueva, Peter Wonka
分类: cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出基因框架选择方法以提高新视角合成效率
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 视图选择 遗传算法 计算机视觉 图像处理
📋 核心要点
- 现有的前馈新视角合成方法在输入视角数量上存在冗余，导致计算成本增加且重建质量下降。
- 本文提出了一种无渲染的视图选择器，通过目标视图覆盖度、冗余度和图像清晰度来选择最具信息量的帧。
- 实验结果显示，该方法在多个数据集上均优于几何和重建感知的视图选择基线，并且选择成本显著降低。
📝 摘要（中文）
前馈新视角合成通过单次前向传递重建场景，但更多视角并不一定提升性能：冗余或选择不当的帧会增加计算成本并可能降低重建质量。本文提出了一种无渲染视图选择器，根据目标视图覆盖度、与已选视图的冗余度和图像清晰度三个互补标准对候选帧进行评分。通过遗传算法优化重建性能，选择器学习从几何和图像特征中重现高质量子集的选择。实验表明，该方法在多个数据集上超越了现有基线，并且在选择成本上显著低于基于重建的方法。
🔬 方法详解
问题定义：本文旨在解决从已捕获序列中选择固定大小的输入视角子集的问题，以提高新视角合成的效率。现有方法在视角选择上存在冗余，导致计算成本增加和重建质量下降。
核心思路：提出了一种无渲染的视图选择器，通过评估目标视图覆盖度、冗余度和图像清晰度来选择最具信息量的帧。该方法避免了在推理时进行渲染或重建，从而提高了效率。
技术框架：整体架构包括一个轻量级评分网络，该网络在推理时根据几何和图像特征对候选帧进行评分。训练过程中，使用遗传算法优化重建性能，提取高质量子集。
关键创新：最重要的创新点在于提出了一种无渲染的视图选择方法，能够在不依赖重建的情况下有效选择信息量大的帧，这与现有依赖重建的选择方法本质上不同。
关键设计：选择器通过遗传算法进行训练，优化损失函数以直接提升重建性能。网络结构设计为轻量级，以适应实时应用场景。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在六个数据集上均超越了几何和重建感知的视图选择基线，且选择成本显著低于基于重建的方法。经过精心选择的子集在某些情况下甚至优于使用完整输入序列的前馈重建。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等，能够在场景重建、动画制作和游戏开发中显著提高效率。未来，该方法可能推动更高效的图像处理和计算机视觉技术的发展。
📄 摘要（原文）
Feed-forward novel view synthesis reconstructs a scene from many input images in a single forward pass, yet more views do not necessarily improve performance: redundant or poorly chosen frames increase computational cost and may degrade reconstruction quality. We address the problem of selecting, from an already captured sequence, a fixed-size subset of input views that is most informative for reconstructing specified target viewpoints. We propose a render-free view selector that scores candidate frames based on three complementary criteria: target-view coverage, measured against observed frames that stand in for the targets, redundancy with previously selected views, and image sharpness. A lightweight scoring network then selects the most informative frames without rendering, reconstruction, or per-scene optimization at inference time. To train the selector, we distill an expensive offline search procedure in which a genetic algorithm identifies high-quality subsets by directly optimizing reconstruction performance on training scenes. The selector learns to reproduce these choices from geometric and image-level features alone. Across six datasets and multiple input budgets, our method consistently outperforms both geometric and reconstruction-aware view-selection baselines while incurring significantly lower selection costs than reconstruction-based alternatives. Moreover, carefully selected subsets can outperform feed-forward reconstruction from the full input sequence. The learned selector generalizes across diverse reconstruction paradigms (feed-forward, 3D Gaussian Splatting, and NeRF), to object-targeted reconstruction and to a cross-capture setting in which the target views come from a separate acquisition pass. More broadly, our results indicate that explicitly reasoning about target relevance and inter-view redundancy is a fundamental factor in efficient scene reconstruction.