Omni-Scan: Creating Visually-Accurate Digital Twin Object Models Using a Bimanual Robot with Handover and Gaussian Splat Merging
作者: Tianshuang Qiu, Zehan Ma, Karim El-Refai, Hiya Shah, Chung Min Kim, Justin Kerr, Ken Goldberg
分类: cs.RO, cs.CV
发布日期: 2025-08-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Omni-Scan以解决高质量3D模型生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D建模 数字双胞胎 机器人技术 深度学习 缺陷检测 高斯斑点 自动化
📋 核心要点
- 现有的3D物体扫描方法通常依赖于复杂的设备，工作空间受限，难以实现高质量的数字双胞胎模型。
- 本文提出Omni-Scan，通过双手机器人抓取和旋转物体，结合深度学习模型实现高质量3D高斯斑点模型生成。
- 实验结果表明，Omni-Scan在12种物体的缺陷检测中，平均准确率达到83%，显示出其在实际应用中的有效性。
📝 摘要（中文）
3D高斯斑点（3DGSs）是从多视角图像中生成的3D物体模型，这些“数字双胞胎”在仿真、虚拟现实、市场营销、机器人策略微调和部件检查等方面具有重要应用。传统的3D物体扫描通常依赖于多摄像头阵列、精密激光扫描仪或机器人手腕-mounted摄像头，工作空间受限。本文提出Omni-Scan，一个使用双手机器人生成高质量3D高斯斑点模型的流程。该机器人用一个夹具抓取物体并相对于固定摄像头旋转物体，然后用第二个夹具重新抓取物体，以暴露被第一个夹具遮挡的表面。我们展示了Omni-Scan机器人流程，结合DepthAny-thing、Segment Anything和RAFT光流模型，识别和隔离被机器人夹具抓取的物体，同时去除夹具和背景。我们还修改了3DGS训练流程，以支持包含夹具遮挡的连接数据集，生成物体的全方位（360度视角）模型。应用Omni-Scan于部件缺陷检测，发现其在12种不同工业和家用物体中以83%的平均准确率识别视觉或几何缺陷。
🔬 方法详解
问题定义：本文旨在解决现有3D物体扫描方法在工作空间受限和生成高质量数字双胞胎模型方面的不足。传统方法需要多摄像头或激光扫描仪，难以适应复杂环境。
核心思路：Omni-Scan的核心思路是利用双手机器人抓取和旋转物体，通过重新抓取暴露被遮挡的表面，从而生成全方位的3D模型。此设计旨在提高模型的完整性和准确性。
技术框架：Omni-Scan的整体流程包括物体抓取、旋转、再抓取和3D模型生成。主要模块包括DepthAny-thing、Segment Anything和RAFT光流模型，用于物体识别和背景去除。
关键创新：本文的关键创新在于将双手机器人与深度学习模型结合，克服了传统方法的局限性，实现了高质量的3D高斯斑点模型生成。与现有方法相比，Omni-Scan能够处理夹具遮挡问题，生成360度视角的模型。
关键设计：在技术细节上，Omni-Scan采用了改进的3DGS训练流程，支持连接数据集，并通过特定的损失函数优化模型性能，确保生成的模型在视觉和几何上都具备高准确性。
📊 实验亮点
实验结果显示，Omni-Scan在12种不同的工业和家用物体缺陷检测中，平均准确率达到83%。这一性能显著优于传统的3D扫描方法，展示了其在实际应用中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括工业部件缺陷检测、虚拟现实中的物体建模以及市场营销中的产品展示。Omni-Scan的高效性和准确性使其在自动化和智能制造等领域具有重要的实际价值，未来可能推动相关技术的广泛应用。
📄 摘要（原文）
3D Gaussian Splats (3DGSs) are 3D object models derived from multi-view images. Such "digital twins" are useful for simulations, virtual reality, marketing, robot policy fine-tuning, and part inspection. 3D object scanning usually requires multi-camera arrays, precise laser scanners, or robot wrist-mounted cameras, which have restricted workspaces. We propose Omni-Scan, a pipeline for producing high-quality 3D Gaussian Splat models using a bi-manual robot that grasps an object with one gripper and rotates the object with respect to a stationary camera. The object is then re-grasped by a second gripper to expose surfaces that were occluded by the first gripper. We present the Omni-Scan robot pipeline using DepthAny-thing, Segment Anything, as well as RAFT optical flow models to identify and isolate objects held by a robot gripper while removing the gripper and the background. We then modify the 3DGS training pipeline to support concatenated datasets with gripper occlusion, producing an omni-directional (360 degree view) model of the object. We apply Omni-Scan to part defect inspection, finding that it can identify visual or geometric defects in 12 different industrial and household objects with an average accuracy of 83%. Interactive videos of Omni-Scan 3DGS models can be found at https://berkeleyautomation.github.io/omni-scan/