LVS: Local View Synthesis from Relative Camera Pose by Reusing Previous Views

📄 arXiv: 2610.12127v1 📥 PDF

作者: Qizhou Huo, Xuan Sun, Yongfei Guo, Zhipeng Wang, Yuanhao Gong

分类: cs.CV, cs.AI, cs.GR, cs.MM, eess.IV

发布日期: 2026-10-08

💡 一句话要点

提出基于相对相机姿态的局部视图合成方法以提高场景探索效率

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 局部视图合成 相对相机姿态 RGB-D图像重用 几何变形 增强现实 虚拟现实

📋 核心要点

  1. 现有的3D高斯点云渲染方法在处理相邻视图时未能有效利用图像重叠，导致计算资源浪费。
  2. 本文提出了一种基于相对姿态的RGB-D图像重用框架，结合几何变形和多尺度网络来优化视图更新过程。
  3. 实验结果显示，残差优化在PSNR上提升了0.72 dB，且在捕获和渲染场景中表现出低查询延迟。

📝 摘要（中文）

交互式场景探索需要频繁更新视图，然而小幅度的相机运动能够保留大量可见内容。传统的3D高斯点云渲染方法对每个目标视图进行单独渲染，未能有效利用图像重叠。本文提出了一种基于相对姿态指导的RGB-D图像重用框架，替代了重复渲染相邻视图的过程。几何变形结合深度信息和相对姿态来传输源内容，同时轻量级多尺度网络预测RGB残差以修正伪影和推断缺失的外观。实验结果表明，残差优化在GS-render上提高了0.72 dB的PSNR，相较于纯粹的几何变形，显示出低查询延迟。这种将场景渲染与局部视图更新分离的方法支持了响应式场景探索，具有增强现实和虚拟现实的潜在应用价值。

🔬 方法详解

问题定义：本文旨在解决在交互式场景探索中，传统方法未能有效利用相邻视图之间的图像重叠，导致重复渲染带来的计算资源浪费和延迟问题。

核心思路：通过引入基于相对相机姿态的RGB-D图像重用，结合几何变形和深度信息，本文旨在提高视图更新的效率和质量。

技术框架：整体框架包括几个主要模块：首先，利用几何变形技术传输源内容；其次，采用轻量级多尺度网络预测RGB残差以修正伪影和推断缺失的外观；最后，缓存源特征以减少重复计算。

关键创新：本文的核心创新在于将场景渲染与局部视图更新分离，利用相对姿态指导的图像重用，显著提高了渲染效率和响应速度。

关键设计：在网络设计上，采用了轻量级多尺度网络结构，优化了损失函数以提高残差预测的准确性，同时通过缓存机制减少了计算开销。实验中，残差优化的引入显著提升了PSNR性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用残差优化后，PSNR在GS-render上提升了0.72 dB，相较于仅使用几何变形的方法，显示出显著的性能改进。此外，在捕获和渲染场景中，系统表现出较低的查询延迟，提升了用户体验。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在增强现实和虚拟现实领域。通过提高场景探索的响应速度和渲染质量，能够为用户提供更流畅的交互体验，推动相关技术的商业化应用和发展。

📄 摘要（原文）

Interactive scene exploration requires frequent view updates, although small camera motions preserve much of the visible content. Conventional 3D Gaussian Splatting nevertheless renders each target view, leaving this image overlap unexploited. Reusing rendered images offers an alternative. Geometric warping alone cannot recover newly exposed content and remains sensitive to depth errors. We propose a per-scene framework that replaces repeated scene rendering for nearby views with relative-pose-guided RGB-D image reuse. Geometric warping uses depth and relative pose to transport source content, while a lightweight multiscale network predicts RGB residuals to correct artifacts and infer missing appearance. Cached source features further reduce repeated computation. On GS-render, residual refinement improves PSNR by 0.72~dB over pure warping; evaluations on captured and rendered scenes demonstrate low query latency. This separation of scene rendering from local view updates supports responsive scene exploration, with potential applications in augmented and virtual reality.