WildSplatter: Feed-forward 3D Gaussian Splatting with Appearance Control from Unconstrained Images

📄 arXiv: 2604.21182v1 📥 PDF

作者: Yuki Fujimura, Takahiro Kushida, Kazuya Kitano, Takuya Funatomi, Yasuhiro Mukaigawa

分类: cs.CV

发布日期: 2026-04-23

备注: Project page: https://github.com/yfujimura/WildSplatter

💡 一句话要点

WildSplatter：基于无约束图像和外观控制的前馈3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 无约束图像 外观控制 场景重建 神经渲染

📋 核心要点

  1. 现有3DGS方法依赖于已知相机参数和一致光照的多视角图像，且需要迭代优化，限制了其在无约束图像上的应用。
  2. WildSplatter通过联合学习3D高斯和外观嵌入，并以输入图像为条件，实现对光照和外观变化的灵活控制。
  3. 该方法能够快速从稀疏视图重建3D高斯，并在不同光照条件下控制外观，实验结果优于现有无姿态3DGS方法。

📝 摘要（中文）

本文提出WildSplatter，一种用于处理无约束图像的前馈3D高斯溅射(3DGS)模型，该模型能够处理未知的相机参数和变化的光照条件。3DGS是一种有效的场景表示方法，可以实现高质量的实时渲染；然而，它通常需要迭代优化和在一致光照下使用已知相机参数捕获的多视角图像。WildSplatter在无约束的照片集上进行训练，并联合学习3D高斯和以输入图像为条件的外观嵌入。这种设计能够灵活地调节高斯颜色，以表示光照和外观的显著变化。我们的方法可以在不到一秒的时间内从稀疏的输入视图重建3D高斯，同时还可以在不同的光照条件下实现外观控制。实验结果表明，我们的方法在具有变化光照的具有挑战性的真实世界数据集上优于现有的无姿态3DGS方法。

🔬 方法详解

问题定义：现有3D高斯溅射方法通常需要精确的相机姿态信息和一致的光照条件，这限制了它们在实际应用中的适用性，尤其是在处理从互联网收集的无约束图像时。这些图像通常具有未知的相机参数和变化的光照条件，使得传统的3DGS方法难以直接应用。因此，如何从这些无约束图像中重建高质量的3D场景，并实现对场景外观的控制，是一个重要的挑战。

核心思路：WildSplatter的核心思路是联合学习3D高斯表示和外观嵌入，并以输入图像为条件。通过这种方式，模型可以学习到图像的外观特征与3D高斯参数之间的映射关系，从而在不同的光照条件下实现对场景外观的控制。这种设计使得模型能够处理未知的相机参数和变化的光照条件，从而扩展了3DGS方法的应用范围。

技术框架：WildSplatter的整体框架包含两个主要模块：3D高斯重建模块和外观控制模块。3D高斯重建模块负责从输入图像中估计3D高斯参数，包括位置、大小、旋转和颜色等。外观控制模块则负责根据输入图像的外观特征，调整3D高斯的颜色，从而实现对场景外观的控制。这两个模块通过联合训练的方式进行优化，使得模型能够同时学习到3D场景的几何结构和外观特征。

关键创新：WildSplatter的关键创新在于其能够从无约束图像中重建3D场景，并实现对场景外观的控制。与现有的3DGS方法相比，WildSplatter不需要精确的相机姿态信息和一致的光照条件，从而大大扩展了其应用范围。此外，WildSplatter还能够通过外观控制模块，灵活地调整场景的外观，从而实现更加逼真的渲染效果。

关键设计：WildSplatter的关键设计包括：1) 使用外观嵌入来表示图像的外观特征；2) 使用条件生成模型来学习外观嵌入与3D高斯参数之间的映射关系；3) 使用光度损失函数和几何一致性损失函数来优化模型。具体的网络结构和参数设置未知，但摘要中提到该方法可以在不到一秒的时间内从稀疏的输入视图重建3D高斯，表明其具有较高的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WildSplatter在具有挑战性的真实世界数据集上优于现有的无姿态3DGS方法，尤其是在光照变化剧烈的场景中。该方法能够在不到一秒的时间内从稀疏的输入视图重建3D高斯，同时还可以在不同的光照条件下实现外观控制，表明其具有较高的效率和灵活性。具体的性能数据和对比基线未知。

🎯 应用场景

WildSplatter在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于从互联网照片中重建3D场景，并实现对场景外观的控制，从而为用户提供更加逼真的沉浸式体验。此外，它还可以用于机器人导航、自动驾驶等领域，为机器人提供更加准确的环境感知能力。

📄 摘要（原文）

We propose WildSplatter, a feed-forward 3D Gaussian Splatting (3DGS) model for unconstrained images with unknown camera parameters and varying lighting conditions. 3DGS is an effective scene representation that enables high-quality, real-time rendering; however, it typically requires iterative optimization and multi-view images captured under consistent lighting with known camera parameters. WildSplatter is trained on unconstrained photo collections and jointly learns 3D Gaussians and appearance embeddings conditioned on input images. This design enables flexible modulation of Gaussian colors to represent significant variations in lighting and appearance. Our method reconstructs 3D Gaussians from sparse input views in under one second, while also enabling appearance control under diverse lighting conditions. Experimental results demonstrate that our approach outperforms existing pose-free 3DGS methods on challenging real-world datasets with varying illumination.