Through the Curved Cover: Synthesizing Cover Aberrated Scenes with Refractive Field
作者: Liuyue Xie, Jiancong Guo, Laszlo A. Jeni, Zhiheng Jia, Mingyang Li, Yunwen Zhou, Chao Guo
分类: cs.CV
发布日期: 2024-11-10
备注: WACV 2025
💡 一句话要点
提出SynthCover，利用折射场解决保护罩遮挡下的新视角合成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 折射场 光学像差 保护罩 扩展现实
📋 核心要点
- 现有NeRF等新视角合成方法难以处理保护罩引起的光学像差，导致合成质量下降。
- SynthCover通过引入折射场来估计保护罩的几何形状，从而精确计算折射光线，实现高质量的新视角合成。
- 实验表明，SynthCover在合成和真实场景中均能有效建模保护罩遮挡下的场景，显著提升渲染质量。
📝 摘要（中文）
近来，扩展现实头显和移动机器人采用保护罩来保护前置摄像头免受环境危害和跌落的影响。保护罩表面的不规则性会导致光学像差，如模糊和非参数失真。神经辐射场（NeRF）和3D高斯溅射等新视角合成方法难以从具有光学像差的序列中进行合成。为了解决这一挑战，我们引入了SynthCover，以实现通过保护罩的新视角合成，用于下游扩展现实应用。SynthCover采用折射场来估计保护罩的几何形状，从而能够精确地分析计算折射光线。在合成和真实场景上的实验表明，我们的方法能够准确地建模通过保护罩观察到的场景，与现有方法相比，在渲染质量上取得了显著的提高。我们还表明，该模型可以很好地适应各种保护罩几何形状，通过使用具有不同表面曲率的保护罩捕获的合成序列。为了促进对该问题的进一步研究，我们提供了基准数据集，其中包含使用保护罩光学像差捕获的真实和合成的可行走场景。
🔬 方法详解
问题定义：论文旨在解决由于相机保护罩存在导致的新视角合成问题。保护罩表面的不规则性会引入光学像差，例如模糊和非参数失真，这使得现有的新视角合成方法，如NeRF和3D高斯溅射，难以准确地渲染场景。现有方法没有考虑保护罩的几何形状和折射效应，因此无法有效地处理这些像差。
核心思路：论文的核心思路是引入一个“折射场”（Refractive Field），用于显式地建模保护罩的几何形状。通过估计保护罩的几何形状，可以精确地计算光线通过保护罩时的折射路径。然后，利用这些折射后的光线进行新视角合成，从而减轻或消除光学像差的影响。这种方法的核心在于将保护罩的影响建模为一个可学习的几何结构，而不是简单地将其视为噪声。
技术框架：SynthCover的整体框架包括以下几个主要步骤：1) 使用相机拍摄带有保护罩的场景图像序列；2) 使用图像序列和相机位姿信息，通过优化折射场来估计保护罩的几何形状；3) 根据估计的保护罩几何形状，计算每条光线通过保护罩的折射路径；4) 使用折射后的光线和场景信息，进行新视角合成。该框架的关键模块是折射场估计模块，它负责学习保护罩的几何形状。
关键创新：论文的关键创新在于提出了“折射场”的概念，并将其用于建模保护罩的几何形状。与现有方法相比，这种方法能够更准确地描述光线通过保护罩时的折射效应，从而实现更高质量的新视角合成。此外，该方法还能够适应不同几何形状的保护罩，具有较强的泛化能力。
关键设计：折射场可以使用神经网络进行参数化，例如MLP。损失函数的设计需要考虑多个因素，包括渲染图像与真实图像之间的差异、折射光线的平滑性以及保护罩几何形状的规则性。具体的网络结构和损失函数形式需要在实验中进行调整和优化。此外，相机位姿的准确性也会影响折射场估计的精度，因此可能需要使用SLAM等技术进行位姿优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SynthCover在合成和真实场景中均取得了显著的性能提升。与现有方法相比，SynthCover能够更准确地建模保护罩遮挡下的场景，显著提升渲染质量。在合成数据集上，SynthCover能够很好地适应各种保护罩几何形状。此外，论文还提供了一个基准数据集，包含使用保护罩光学像差捕获的真实和合成的可行走场景，为后续研究提供了便利。
🎯 应用场景
该研究成果可应用于扩展现实（XR）头显、机器人等领域。在这些应用中，保护罩被广泛用于保护相机，但同时也引入了光学像差。SynthCover可以有效解决这一问题，提高XR头显的显示质量和机器人的感知能力。此外，该方法还可以用于虚拟现实（VR）内容创作，生成更逼真的场景。
📄 摘要（原文）
Recent extended reality headsets and field robots have adopted covers to protect the front-facing cameras from environmental hazards and falls. The surface irregularities on the cover can lead to optical aberrations like blurring and non-parametric distortions. Novel view synthesis methods like NeRF and 3D Gaussian Splatting are ill-equipped to synthesize from sequences with optical aberrations. To address this challenge, we introduce SynthCover to enable novel view synthesis through protective covers for downstream extended reality applications. SynthCover employs a Refractive Field that estimates the cover's geometry, enabling precise analytical calculation of refracted rays. Experiments on synthetic and real-world scenes demonstrate our method's ability to accurately model scenes viewed through protective covers, achieving a significant improvement in rendering quality compared to prior methods. We also show that the model can adjust well to various cover geometries with synthetic sequences captured with covers of different surface curvatures. To motivate further studies on this problem, we provide the benchmarked dataset containing real and synthetic walkable scenes captured with protective cover optical aberrations.