FreeArtGS: Articulated Gaussian Splatting Under Free-moving Scenario
作者: Hang Dai, Hongwei Fan, Han Zhang, Duojin Wu, Jiyao Zhang, Hao Dong
分类: cs.CV, cs.GR, cs.RO
发布日期: 2026-03-23
备注: Accepted to CVPR 2026
💡 一句话要点
FreeArtGS：提出自由移动场景下可动高斯溅射重建方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可动对象重建 高斯溅射 自由移动场景 部件分割 关节估计
📋 核心要点
- 现有可动对象重建方法依赖离散状态或单目视频，存在轴对齐困难和覆盖不足的挑战。
- FreeArtGS结合部件分割、关节估计和端到端优化，仅需RGB-D视频即可重建自由移动的可动对象。
- 实验表明，FreeArtGS在自由移动场景下表现优异，并在传统重建设置中具有竞争力。
📝 摘要（中文）
本文提出FreeArtGS，一种用于自由移动场景下可动对象重建的新方法，旨在解决增强现实和机器人领域对高可扩展性可动对象重建日益增长的需求。现有方法通常需要复杂的轴对齐或受限于单目视频覆盖不足。FreeArtGS结合了自由移动部件分割、关节估计和端到端优化，仅需单目RGB-D视频作为输入。通过利用现成的点跟踪和特征模型的先验知识，自由移动部件分割模块能够在无约束的拍摄条件下，从相对运动中识别刚性部件。关节估计模块校准统一的对象到相机姿态，并从部件分割中稳健地恢复关节类型和轴。最后，基于3DGS的端到端优化用于联合重建可动对象的视觉纹理、几何形状和关节角度。在两个基准数据集和真实世界的自由移动可动对象上的实验结果表明，FreeArtGS在重建自由移动可动对象方面表现出色，并在之前的重建设置中保持高度竞争力，证明了其作为现实资产生成实用且有效的解决方案。
🔬 方法详解
问题定义：现有可动对象重建方法，如基于离散状态或单目视频的方法，存在对齐轴困难或覆盖范围不足的问题，限制了其在实际增强现实和机器人应用中的可扩展性。这些方法通常需要复杂的预处理或对场景有较强的约束，难以处理自由移动场景下的可动对象重建。
核心思路：FreeArtGS的核心思路是将可动对象重建问题分解为三个关键步骤：自由移动部件分割、关节估计和端到端优化。通过利用现成的点跟踪和特征模型，可以有效地分割出刚性部件。然后，利用分割结果进行稳健的关节估计。最后，通过基于3D高斯溅射的端到端优化，联合优化视觉纹理、几何形状和关节角度，从而实现高质量的重建。
技术框架：FreeArtGS的整体框架包括三个主要模块：1) 自由移动部件分割模块：该模块利用点跟踪和特征模型，从RGB-D视频中分割出刚性部件。2) 关节估计模块：该模块基于部件分割的结果，校准对象到相机的姿态，并恢复关节类型和轴。3) 3DGS端到端优化模块：该模块基于3D高斯溅射技术，联合优化可动对象的视觉纹理、几何形状和关节角度。整个流程以单目RGB-D视频作为输入，输出重建后的可动对象模型。
关键创新：FreeArtGS的关键创新在于其能够处理自由移动场景下的可动对象重建，无需复杂的轴对齐或预处理。它通过结合自由移动部件分割、关节估计和端到端优化，实现了对可动对象的高质量重建。与现有方法相比，FreeArtGS具有更高的可扩展性和鲁棒性。
关键设计：在自由移动部件分割模块中，使用了现成的点跟踪和特征模型来提取部件的运动信息。在关节估计模块中，设计了一种稳健的算法来估计关节类型和轴。在3DGS端到端优化模块中，使用了基于3D高斯溅射的渲染技术，并设计了合适的损失函数来优化视觉纹理、几何形状和关节角度。具体的参数设置和网络结构细节在论文中有详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FreeArtGS在两个基准数据集和真实世界的自由移动可动对象上均取得了优异的重建效果。与现有方法相比，FreeArtGS在重建质量和鲁棒性方面均有显著提升。具体的性能数据和对比基线在论文中有详细描述（未知）。
🎯 应用场景
FreeArtGS在增强现实、机器人、游戏开发等领域具有广泛的应用前景。它可以用于创建逼真的可动对象模型，用于AR/VR体验、机器人操作和游戏场景。该技术可以简化可动资产的创建流程，降低成本，并提高效率。未来，该技术可以进一步扩展到更复杂的场景和对象，例如人体姿态估计和动画。
📄 摘要（原文）
The increasing demand for augmented reality and robotics is driving the need for articulated object reconstruction with high scalability. However, existing settings for reconstructing from discrete articulation states or casual monocular videos require non-trivial axis alignment or suffer from insufficient coverage, limiting their applicability. In this paper, we introduce FreeArtGS, a novel method for reconstructing articulated objects under free-moving scenario, a new setting with a simple setup and high scalability. FreeArtGS combines free-moving part segmentation with joint estimation and end-to-end optimization, taking only a monocular RGB-D video as input. By optimizing with the priors from off-the-shelf point-tracking and feature models, the free-moving part segmentation module identifies rigid parts from relative motion under unconstrained capture. The joint estimation module calibrates the unified object-to-camera poses and recovers joint type and axis robustly from part segmentation. Finally, 3DGS-based end-to-end optimization is implemented to jointly reconstruct visual textures, geometry, and joint angles of the articulated object. We conduct experiments on two benchmarks and real-world free-moving articulated objects. Experimental results demonstrate that FreeArtGS consistently excels in reconstructing free-moving articulated objects and remains highly competitive in previous reconstruction settings, proving itself a practical and effective solution for realistic asset generation. The project page is available at: https://freeartgs.github.io/