From Mono to Stereo: Accelerating Binocular Gaussian Splatting via Reprojection and Selective Patching

📄 arXiv: 2609.30741v1 📥 PDF

作者: Hongfei Zhu, Ling Zhou

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出双目高斯点云加速方法以解决渲染效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 双目渲染 高斯点云 图像重投影 计算效率 虚拟现实 深度学习

📋 核心要点

  1. 双目渲染在计算上非常昂贵，现有方法在可见性和阴影计算上存在重复工作，导致效率低下。
  2. 本文提出了一种2D高斯点云管道，通过主眼渲染和重投影技术，减少了双目渲染的计算量。
  3. 实验结果表明，该方法在多个数据集上显著提高了渲染效率，同时保持了较高的图像质量。

📝 摘要（中文）

双目渲染需要两个相邻视角的场景图像，因此会重复大量的可见性和阴影计算。本文提出了一种2D高斯点云（2DGS）管道，首先完全渲染主眼的RGB图像和加权深度代理，然后将该图像重投影到附属眼，并修复未覆盖的像素。小的内部空隙通过插值填补，而较大的遮挡区域则被识别为感兴趣区域（ROI）并选择性地重新渲染。该方法在DTU、Tanks and Temples和MipNeRF-360数据集上，测得的时间减少了15.5%至28.8%，峰值GPU内存减少了6%至11%。附属眼的质量下降最多为1.3 dB PSNR，0.02 SSIM和0.02 LPIPS，表明在效率与质量之间存在可测量的权衡。

🔬 方法详解

问题定义：本文旨在解决双目渲染中的效率低下问题，现有方法在可见性和阴影计算上存在大量重复工作，导致渲染时间和资源消耗过高。

核心思路：论文提出的核心思路是通过主眼渲染生成RGB图像和深度代理，然后将其重投影到附属眼，利用插值和选择性重渲染来填补未覆盖的区域，从而减少计算量。

技术框架：整体架构包括主眼渲染、图像重投影、未覆盖像素修复和ROI选择性重渲染四个主要模块。首先渲染主眼图像，然后进行重投影，最后修复和重渲染。

关键创新：最重要的技术创新在于通过重投影和选择性重渲染来减少双目渲染的计算量，避免了传统方法中对深度的单独渲染过程，显著提高了效率。

关键设计：在设计中，采用了自适应ROI生成器，通过重投影图像边界和可选的中心孔检测来定位需要更新的区域，确保了渲染的准确性和效率。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法在DTU、Tanks and Temples和MipNeRF-360数据集上，渲染时间减少了15.5%至28.8%，峰值GPU内存减少了6%至11%。附属眼的质量损失在可接受范围内，最大为1.3 dB PSNR，0.02 SSIM和0.02 LPIPS，证明了效率与质量之间的良好平衡。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和计算机视觉等领域，能够显著提高双目渲染的效率，降低资源消耗，适用于需要实时渲染的场景。未来，该方法还可扩展到动态场景和物理VR硬件的评估中，具有广泛的实际价值。

📄 摘要（原文）

Binocular rendering requires two nearby views of the same scene and therefore repeats substantial visibility and shading work. We present a 2D Gaussian Splatting (2DGS) pipeline that fully renders a dominant-eye RGB image and an alpha-weighted depth proxy, reprojects that image to the affiliated eye, and repairs uncovered pixels. Small interior gaps are interpolated, whereas larger disoccluded regions are identified as regions of interest (ROIs) and selectively re-rendered. The depth proxy reuses the alpha-blending weights computed during dominant-eye rasterization, avoiding a separate depth-rendering pass. An adaptive ROI generator localizes the required updates using reprojected image boundaries and optional connected center-hole detection. On DTU, Tanks and Temples, and MipNeRF-360, the method reduces the measured time of a sequential two-pass binocular reference by 15.5\% to 28.8\% and peak GPU memory by 6\% to 11\%. The corresponding affiliated-eye quality degradation is at most 1.3 dB PSNR, 0.02 SSIM, and 0.02 LPIPS, representing a measurable trade-off that requires application-specific perceptual validation. These results establish a practical efficiency-quality trade-off for controlled static-scene stereo rendering and motivate future evaluation under continuous motion and on physical VR hardware.