View-Structured Conformal Prediction for 3D Gaussian Splatting
作者: Junzheng Chu, Bin Pan, Zhenwei Shi
分类: cs.LG, cs.CV
发布日期: 2026-09-09
💡 一句话要点
提出视结构一致性预测以解决3D高斯渲染的不确定性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯渲染 一致性预测 视图合成 计算机视觉 实时渲染 虚拟现实 增强现实
📋 核心要点
- 现有的3D高斯渲染方法在处理新视图时，无法有效保证渲染结果的预测覆盖率，导致不确定性较高。
- 本文提出视结构一致性预测（VSCP），通过将预校准尺度分解为空间形状和视图难度因子，优化了新视图的RGB预测框覆盖率。
- 在13个真实场景的实验中，VSCP在像素覆盖率和视图事件覆盖率上均优于传统方法，且在计算效率上也有显著提升。
📝 摘要（中文）
3D高斯渲染（3DGS）能够实时渲染新视图，但其不确定性热图无法保证渲染视图满足特定的预测覆盖率。本文将新视图合成视为结构回归，要求以至少$1-α$的概率，RGB预测框覆盖新视图中至少$1-β$的像素比例。我们提出视结构一致性预测（VSCP），将预校准尺度分为来自渲染器的空间形状和可转移的视图难度因子，预测该形状所需的最小视图乘数。通过对视图的持出分位数（View-CP），即使在转移到新场景时也能提供有限样本有效性。实验结果显示，VSCP在多个真实场景中显著提高了像素覆盖率和视图事件覆盖率。
🔬 方法详解
问题定义：本文旨在解决3D高斯渲染中不确定性热图无法保证渲染视图的预测覆盖率的问题。现有方法在新视图合成时，未能有效处理视图难度和空间形状的关系，导致覆盖率不足。
核心思路：我们提出视结构一致性预测（VSCP），将预校准尺度分为空间形状和可转移的视图难度因子，旨在通过预测最小视图乘数来提高RGB预测框的覆盖率。
技术框架：VSCP的整体架构包括两个主要模块：首先是空间形状的提取，其次是视图难度因子的计算。通过对视图的持出分位数（View-CP），实现有限样本有效性。
关键创新：VSCP的核心创新在于将预校准尺度进行分解，使得分析更加精确，符合度评分为预期视图难度与预测视图难度的比值，这一设计与现有方法的整体尺度设定形成了本质区别。
关键设计：在参数设置上，VSCP采用了特定的损失函数来优化视图难度因子的预测，同时在网络结构上进行了调整，以适应不同场景的渲染需求。
🖼️ 关键图片
📊 实验亮点
在13个真实场景的实验中，VSCP在像素覆盖率上达到了91.7%至92.0%，相比传统方法在相同覆盖率下宽度减少了22.1%。此外，VSCP在计算效率上也表现出色，能够在RTX 4090上以216至280 FPS的速度运行。
🎯 应用场景
该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在实时渲染、虚拟现实和增强现实等场景中。通过提高渲染结果的可靠性，VSCP可以为用户提供更高质量的视觉体验，并推动相关技术的发展。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) renders novel views in real time, but an uncertainty heatmap does not certify that a rendered view meets a certain prediction coverage. We treat novel-view synthesis as structured regression and ask that, with probability at least $1-α$, RGB prediction boxes cover at least a $1-β$ fraction of pixels in a new view. We propose View-Structured Conformal Prediction (VSCP). It splits the pre-calibration scale into a spatial shape from the renderer and a transferable view-difficulty factor, which predicts the smallest view-wise multiplier that shape needs. A held-out quantile over views (View-CP) then gives finite-sample validity even when transferring to new scenes. The same factorization makes the analysis exact: a conformity score is the ratio of oracle to predicted view difficulty, and excess width separates into a test-side and a calibration-side term. Across 13 real scenes, pixel-pooled calibration reaches 89.9\% marginal pixel coverage but only 61.4\% view-event coverage at a 90\% target, while View-CP reaches 91.7--92.0\%. At matched coverage VSCP cuts width by 22.1\% against a constant scale, and matches a ten-model ensemble's 21.0\% reduction using only one model per scene and four rather than ten rasterization passes per query. VSCP also improves on the closest single-model baseline, the 3DGS-U field, by 4.7 points ($p=0.0225$). The view predictor transfers from bounded source families to all nine unbounded Mip-NeRF~360 scenes. There the full scale beats the constant scale with 20.7\% width saving on all nine scenes. It also keeps an 18.3\% saving under a different densification backbone and runs at 216--280 FPS on an RTX~4090.