ClearGS: Reliability-Aware Gaussian Splatting from Handheld Videos

📄 arXiv: 2609.31509v1 📥 PDF

作者: Xuanzhi Liu, Xinyi Wu, Hang Pan, Wensi Huang, Zhenyao Wu, Ruize Han, Song Wang

分类: cs.CV, cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出ClearGS以解决手持视频中的3D高斯点云重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 手持视频 视频恢复 可靠性感知 无参考恢复 轨迹修复 计算机视觉

📋 核心要点

  1. 现有方法在处理手持视频时面临视角覆盖不均和帧质量不一致的问题，导致3D重建效果不佳。
  2. ClearGS通过可靠性感知视图分配（RVA）和渲染引导的在视频恢复（RIVR）来优化帧选择和细节恢复，提升重建质量。
  3. 在GS2E和GSOTM数据集上，ClearGS实现了最先进的性能，CLIP-IQA和MUSIQ得分显著提升，LPIPS指标降低。

📝 摘要（中文）

我们提出了ClearGS，用于从手持视频中进行3D高斯点云重建，解决了视角覆盖不均和帧质量混合的问题。ClearGS采用了可靠性感知视图分配（RVA），根据外观可靠性、退化风险和几何效用分配加权原始监督，同时弱激活有用的被抑制帧以保持轨迹覆盖。由于加权无法恢复因模糊或失真而丢失的细节，ClearGS进一步引入了渲染引导的在视频恢复（RIVR），通过无参考恢复专家恢复原始视频观察。ClearGS在GS2E和GSOTM上实现了最先进的整体性能，在大多数退化设置中，CLIP-IQA和MUSIQ得分持续提升，LPIPS降低，且无需配对的清晰监督或匹配的干净参考。

🔬 方法详解

问题定义：论文旨在解决从手持视频中进行3D高斯点云重建时，视角覆盖不均和帧质量混合导致的重建效果不佳的问题。现有方法通常采用二元决策选择帧，无法有效利用所有可用信息。

核心思路：ClearGS的核心思路是通过可靠性感知视图分配（RVA）为每帧分配加权，考虑外观可靠性、退化风险和几何效用，同时弱激活有用的被抑制帧，以确保轨迹覆盖。

技术框架：ClearGS的整体架构包括三个主要模块：可靠性感知视图分配（RVA）、渲染引导的在视频恢复（RIVR）和全轨迹修复整合。RVA负责帧的加权分配，RIVR用于细节恢复，而全轨迹修复整合则确保早期引入的细节得以保留。

关键创新：ClearGS的主要创新在于引入了RVA和RIVR两个模块，前者通过加权机制优化帧选择，后者则通过无参考恢复技术提升细节恢复能力。这与传统方法的二元选择和依赖清晰参考图像的方式有本质区别。

关键设计：在RVA中，设计了基于外观和几何特征的加权机制；在RIVR中，采用了无参考恢复专家来处理模糊和失真问题。此外，损失函数的设计也考虑了多种感知指标，以确保恢复效果的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ClearGS在GS2E和GSOTM数据集上实现了最先进的整体性能，CLIP-IQA和MUSIQ得分在大多数退化设置中显著提升，LPIPS指标降低，展示了该方法在处理复杂视频场景中的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和影视制作等场景，能够有效提升手持视频的3D重建质量，进而改善用户体验。未来，该技术有望在实时视频处理和自动化内容生成中发挥重要作用。

📄 摘要（原文）

We present ClearGS for 3D Gaussian Splatting (3DGS) from handheld videos with uneven viewpoint coverage and mixed frame quality. Rather than selecting frames with binary decisions, ClearGS uses Reliability-aware View Allocation (RVA) to assign graded raw-supervision weights based on appearance reliability, degradation risk, and geometric utility, while weakly reactivating useful suppressed frames to maintain trajectory coverage. Since weighting cannot restore details lost to blur or distortion, ClearGS further introduces Render-Guided In-Video Restoration (RIVR). The current 3DGS render provides a pose-aligned structural candidate, a frozen no-reference restoration expert restores the corresponding raw video observation without any clean reference image, and no-reference perceptual scores select among the render, restored observation, and high-frequency fused candidate. ClearGS then applies Full-Trajectory Repair Consolidation to revisit accepted repairs and preserve details introduced early. On GS2E and GSOTM, ClearGS achieves state-of-the-art overall performance, with consistent CLIP-IQA and MUSIQ gains and LPIPS reductions in most degradation settings, without paired sharp supervision or matched clean references.