Camera Splatting for Continuous View Optimization

📄 arXiv: 2509.15677v1 📥 PDF

作者: Gahye Lee, Hyomin Kim, Gwangjin Ju, Jooeun Son, Hyejeong Yoon, Seungyong Lee

分类: cs.CV

发布日期: 2025-09-19

💡 一句话要点

提出Camera Splatting，通过连续视角优化实现高质量新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 视角优化 3D高斯分布 相机splatting 视角相关效果

📋 核心要点

  1. 现有新视角合成方法难以捕捉复杂的视角相关现象，如金属反射和精细纹理。
  2. Camera Splatting将相机建模为3D高斯分布，并通过优化这些分布实现视角优化。
  3. 实验表明，该方法在捕捉复杂视角相关现象方面优于现有方法，尤其是在金属反射和精细纹理上。

📝 摘要（中文）

本文提出了一种名为Camera Splatting的新视角优化框架，用于新视角合成。该方法将每个相机建模为一个3D高斯分布，称为相机splat。在表面附近采样的3D点上放置虚拟相机，称为点相机，用于观察相机splat的分布。通过连续且可微地优化相机splat，使得点相机观察到期望的目标分布，从而实现视角优化，其方式类似于原始的3D高斯splatting。与最远视角采样（FVS）方法相比，我们优化的视角在捕捉复杂的视角相关现象方面表现出更优越的性能，包括强烈的金属反射和复杂的纹理（如文本）。

🔬 方法详解

问题定义：现有新视角合成方法在处理具有复杂视角相关效果的场景时，例如强烈的金属反射和精细的纹理细节（如文本），往往表现不佳。这些方法难以准确捕捉视角变化带来的光照和纹理变化，导致合成的新视角图像质量下降。最远视角采样（FVS）等方法虽然尝试解决这个问题，但在复杂场景下仍然存在局限性。

核心思路：Camera Splatting的核心思想是将每个相机表示为一个3D高斯分布（camera splat），并通过优化这些高斯分布来改进视角选择和渲染。通过在场景表面附近采样虚拟相机（点相机），并让这些点相机观察camera splat的分布，可以有效地学习和优化相机的位置和姿态，从而更好地捕捉视角相关效果。

技术框架：Camera Splatting框架主要包含以下几个步骤：1) 将每个相机建模为3D高斯分布（camera splat）。2) 在场景表面附近采样一组3D点，作为虚拟的点相机的位置。3) 对于每个点相机，计算其观察到的camera splat的分布。4) 定义一个损失函数，用于衡量观察到的分布与期望目标分布之间的差异。5) 使用梯度下降等优化方法，连续且可微地优化camera splat的参数，从而最小化损失函数。

关键创新：Camera Splatting的关键创新在于将相机建模为3D高斯分布，并利用点相机观察这些分布进行优化。与传统的基于几何或图像特征的视角选择方法不同，Camera Splatting能够直接优化相机的位置和姿态，从而更好地适应复杂的视角相关效果。此外，该方法是可微的，可以方便地与现有的新视角合成框架集成。

关键设计：Camera Splatting的关键设计包括：1) 3D高斯分布的参数化，例如均值、协方差矩阵等。2) 点相机的采样策略，例如在场景表面附近均匀采样或根据某种重要性采样。3) 损失函数的选择，例如可以使用KL散度或均方误差来衡量观察到的分布与期望目标分布之间的差异。4) 优化算法的选择，例如可以使用Adam或SGD等优化器。

📊 实验亮点

实验结果表明，Camera Splatting在捕捉复杂的视角相关现象方面优于最远视角采样（FVS）方法。尤其是在处理具有强烈金属反射和精细纹理的场景时，Camera Splatting能够生成更清晰、更逼真的新视角图像。具体性能提升数据未知，但定性结果显示了显著的视觉质量提升。

🎯 应用场景

Camera Splatting可应用于虚拟现实、增强现实、机器人导航、自动驾驶等领域。通过优化相机视角，可以提高新视角合成的质量，从而改善用户体验，增强系统的感知能力。例如，在VR/AR应用中，可以生成更逼真的虚拟场景；在机器人导航中，可以提供更清晰的环境视图；在自动驾驶中，可以提高对复杂交通场景的理解。

📄 摘要（原文）

We propose Camera Splatting, a novel view optimization framework for novel view synthesis. Each camera is modeled as a 3D Gaussian, referred to as a camera splat, and virtual cameras, termed point cameras, are placed at 3D points sampled near the surface to observe the distribution of camera splats. View optimization is achieved by continuously and differentiably refining the camera splats so that desirable target distributions are observed from the point cameras, in a manner similar to the original 3D Gaussian splatting. Compared to the Farthest View Sampling (FVS) approach, our optimized views demonstrate superior performance in capturing complex view-dependent phenomena, including intense metallic reflections and intricate textures such as text.