Demonstration Synthesis from a Single Scan via Gaussian Splatting for Visuomotor Policy Learning
作者: Beichen Wang, Yuen-Hei Yeung, V. R. Sridhar Devarakonda, Xuesu Xiao
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出GaussianFactory以解决演示合成成本高的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 演示合成 视觉运动策略 高保真数据生成 机器人抓取 3D高斯点云
📋 核心要点
- 现有演示合成方法在人工成本、视觉真实感和对物理模拟器的依赖上存在显著不足。
- GaussianFactory通过单个视频扫描生成高保真演示，避免了物理引擎的使用，提升了合成效率。
- 在模拟和真实环境中，基于合成演示训练的扩散策略分别达到了95.1%和84.2%的成功率，显示出良好的实用性。
📝 摘要（中文）
训练视觉运动策略需要大量与目标环境匹配的演示，但重新收集这些演示成本高昂。现有的演示合成方法虽然降低了成本，但仍然受限于高人工成本、有限的视觉真实感或对物理模拟器的高度依赖。本文提出了GaussianFactory，这是一种高保真数据引擎，仅需单个视频扫描作为人类输入，无需物理引擎即可大规模生成演示。GaussianFactory将场景重建为可编辑的3D高斯点云，并从场景中可实现的物体组合任务中进行采样。对于每个任务，它在几何重建上纯粹依靠运动学规划抓取和轨迹，生成与目标环境视觉匹配的照片级真实演示。物理动态仅在接触力交互影响结果时引入，通过在交互数据集上预训练的学习接触模型实现。通过在模拟场景和真实工作空间中实施端到端的扫描到部署工作流，验证了合成演示的下游效用。
🔬 方法详解
问题定义：本文旨在解决训练视觉运动策略所需的演示收集成本高昂的问题。现有方法通常需要大量人工干预，且依赖于物理模拟器，限制了其应用范围。
核心思路：GaussianFactory的核心思路是通过单个视频扫描重建场景，并生成可编辑的3D高斯点云，进而从中提取物体组合任务，避免了对物理引擎的依赖。
技术框架：该方法的整体架构包括场景重建、任务采样、运动学规划和接触模型学习四个主要模块。首先，通过视频扫描重建场景，然后从中提取任务，接着进行运动学规划，最后在抓取形成阶段引入物理动态。
关键创新：GaussianFactory的主要创新在于其能够在没有物理引擎的情况下，利用单一视频输入生成高保真的演示，显著降低了演示合成的成本和复杂性。
关键设计：在关键设计上，GaussianFactory采用了3D高斯点云重建技术，并通过学习的接触模型来处理抓取形成阶段的物理动态，确保生成演示的真实感和有效性。
🖼️ 关键图片
📊 实验亮点
在实验中，基于合成演示训练的标准扩散策略在模拟环境中达到了95.1%的成功率，而在真实环境中也达到了84.2%的成功率。这表明GaussianFactory生成的演示在实际应用中具有良好的效果，显著提升了策略的成功率。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化制造和人机交互等。通过降低演示合成的成本和复杂性，GaussianFactory有望加速视觉运动策略的开发与部署，推动智能机器人在复杂环境中的应用。未来，该技术可能在更多领域实现广泛应用，提升自动化水平。
📄 摘要（原文）
Training a visuomotor policy calls for abundant demonstrations that closely match the target environment, yet collecting them anew remains expensive. Existing demonstration synthesis methods reduce this cost but remain constrained by high manual effort, limited visual fidelity, or heavy reliance on physics simulators. This paper introduces GaussianFactory, a high-fidelity data engine that mass-produces demonstrations with a single video scan as its only human input and no physics engine in the generation loop. Specifically, GaussianFactory reconstructs the scene as an editable 3D Gaussian Splatting (3DGS) replica and samples from the object-combination tasks the scene affords. For each task, it plans grasps and trajectories purely kinematically on the geometric reconstruction, rendering photorealistic demonstrations that visually match the target environment. Physical dynamics enter the pipeline only where contact force interactions dictate the outcome---during grasp formation, via a learned contact model pretrained once on an interaction dataset. To evaluate the downstream utility of the synthesized demonstrations, we implement an end-to-end scan-to-deployment workflow in two setups: a simulated scene that stands in for the real world to enable reproducibility, and a real-world workspace with a physical UR10e robot. In each setup, a standard diffusion policy trained solely on the synthesized demonstrations achieves 95.1% and 84.2% success rates, respectively.