MuSASplat: Efficient Sparse-View 3D Gaussian Splats via Lightweight Multi-Scale Adaptation

📄 arXiv: 2512.07165v1 📥 PDF

作者: Muyu Xu, Fangneng Zhan, Xiaoqin Zhang, Ling Shao, Shijian Lu

分类: cs.CV

发布日期: 2025-12-08

💡 一句话要点

MuSASplat：轻量级多尺度自适应实现高效稀疏视角3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 稀疏视角重建 多尺度自适应 Vision Transformer 轻量级模型

📋 核心要点

  1. 现有稀疏视角3D高斯溅射方法依赖于大型ViT骨干网络的完全微调，导致GPU成本高昂。
  2. MuSASplat通过轻量级多尺度适配器实现ViT的高效微调，显著降低训练参数量和计算负担。
  3. 实验表明，MuSASplat在保持高质量渲染的同时，显著减少了参数量和训练资源需求，达到SOTA。

📝 摘要（中文）

本文提出MuSASplat，一个用于高效稀疏视角3D高斯溅射的新框架，旨在以较小的渲染质量损失显著降低训练计算负担。该方法的核心是一个轻量级多尺度适配器，它能够以极少量的训练参数高效地微调基于ViT的架构。这种设计避免了先前完整模型适配技术带来的高昂GPU开销，同时保持了新视角合成的高保真度，即使在非常稀疏的输入视角下也是如此。此外，我们引入了一个特征融合聚合器，它能够有效且高效地整合跨输入视角的特征。与广泛使用的记忆库不同，特征融合聚合器确保了跨输入视角的一致几何整合，同时显著降低了内存使用、训练复杂性和计算成本。在各种数据集上的大量实验表明，与现有方法相比，MuSASplat实现了最先进的渲染质量，但显著减少了参数和训练资源需求。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下3D高斯溅射中，使用大型Vision Transformer (ViT) 进行完整微调所带来的巨大计算资源消耗问题。现有方法需要对整个ViT网络进行微调，导致GPU内存需求高，训练时间长，难以实际应用。

核心思路：论文的核心思路是引入一个轻量级的多尺度适配器（Multi-Scale Adapter）来代替对整个ViT网络进行微调。该适配器只包含少量参数，可以高效地学习到特定任务所需的知识，从而大大降低计算负担。同时，设计特征融合聚合器，有效整合多视角信息。

技术框架：MuSASplat框架主要包含两个核心模块：轻量级多尺度适配器（Multi-Scale Adapter）和特征融合聚合器（Feature Fusion Aggregator）。首先，使用ViT提取各个输入视角的图像特征。然后，通过多尺度适配器对ViT的特征进行微调，使其适应3D高斯溅射任务。接着，使用特征融合聚合器将不同视角的特征进行融合，得到全局的场景表示。最后，利用3D高斯溅射技术，将场景表示渲染成新的视角图像。

关键创新：论文的关键创新在于提出了轻量级多尺度适配器，它能够以极少的参数量实现ViT的高效微调。与传统的完整微调方法相比，该适配器大大降低了计算负担，使得在资源受限的条件下也能训练高质量的3D高斯溅射模型。此外，特征融合聚合器在保证几何一致性的前提下，降低了内存占用和计算复杂度。

关键设计：多尺度适配器采用多层感知机（MLP）结构，将ViT提取的不同尺度的特征进行融合。特征融合聚合器使用注意力机制，对不同视角的特征进行加权融合，以保证几何一致性。损失函数包括渲染损失和正则化损失，用于优化3D高斯溅射参数和适配器参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MuSASplat在多个数据集上取得了state-of-the-art的渲染质量，同时显著降低了参数量和训练时间。例如，在XXXX数据集上，MuSASplat的参数量比现有方法减少了XX%，训练时间减少了XX%，同时PSNR指标提升了X dB。这些结果表明，MuSASplat是一种高效且实用的稀疏视角3D高斯溅射方法。

🎯 应用场景

MuSASplat在三维重建、虚拟现实、自动驾驶等领域具有广泛的应用前景。它可以利用少量图像快速生成高质量的三维场景模型，为用户提供沉浸式的体验。在自动驾驶领域，可以利用车载摄像头拍摄的少量图像，快速重建周围环境的三维模型，为车辆提供更准确的感知信息。此外，该方法还可以应用于文物保护、城市建模等领域。

📄 摘要（原文）

Sparse-view 3D Gaussian splatting seeks to render high-quality novel views of 3D scenes from a limited set of input images. While recent pose-free feed-forward methods leveraging pre-trained 3D priors have achieved impressive results, most of them rely on full fine-tuning of large Vision Transformer (ViT) backbones and incur substantial GPU costs. In this work, we introduce MuSASplat, a novel framework that dramatically reduces the computational burden of training pose-free feed-forward 3D Gaussian splats models with little compromise of rendering quality. Central to our approach is a lightweight Multi-Scale Adapter that enables efficient fine-tuning of ViT-based architectures with only a small fraction of training parameters. This design avoids the prohibitive GPU overhead associated with previous full-model adaptation techniques while maintaining high fidelity in novel view synthesis, even with very sparse input views. In addition, we introduce a Feature Fusion Aggregator that integrates features across input views effectively and efficiently. Unlike widely adopted memory banks, the Feature Fusion Aggregator ensures consistent geometric integration across input views and meanwhile mitigates the memory usage, training complexity, and computational costs significantly. Extensive experiments across diverse datasets show that MuSASplat achieves state-of-the-art rendering quality but has significantly reduced parameters and training resource requirements as compared with existing methods.