Scalable Real2Sim: Physics-Aware Asset Generation Via Robotic Pick-and-Place Setups
作者: Nicholas Pfaff, Evelyn Fu, Jeremy Binagia, Phillip Isola, Russ Tedrake
分类: cs.RO
发布日期: 2025-03-01 (更新: 2025-04-01)
备注: Website: https://scalable-real2sim.github.io/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出一种可扩展的Real2Sim流程，通过机器人交互自动生成物理感知的仿真资产。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: Real2Sim 机器人交互 仿真资产生成 物理属性估计 光度重建
📋 核心要点
- 现有方法在从真实世界感知中模拟物体动力学时，通常需要耗费大量人力进行测量和专业知识，限制了数字孪生和机器人操作的应用。
- 该论文提出了一种全自动的Real2Sim流程，利用机器人交互自动生成可用于仿真的资产，无需人工干预或环境修改。
- 通过实验验证了该流程在各种物体上的有效性，并展示了其能够直接集成到现有的抓取放置设置中，实现可扩展的数据集创建。
📝 摘要（中文）
本文提出了一种全自动的Real2Sim流程，通过机器人交互为真实世界的物体生成可用于仿真的资产。该流程仅使用机器人的关节扭矩传感器和一个外部摄像头，即可识别物体的视觉几何形状、碰撞几何形状以及惯性参数等物理属性。该方法引入了一种通用方法，通过alpha透明训练，并显式区分前景遮挡和背景消减，从光度重建技术（例如NeRF、Gaussian Splatting）中提取高质量、以物体为中心的网格。通过广泛的实验验证了整个流程的有效性，证明了其在各种物体上的适用性。该流程无需人工干预或环境修改，可以直接集成到现有的抓取放置设置中，从而实现可扩展且高效的数据集创建。
🔬 方法详解
问题定义：现有方法在将真实世界物体转化为仿真环境中的资产时，通常需要大量的人工测量和手动建模，过程繁琐且成本高昂。尤其是在获取物体的物理属性（如惯性参数、碰撞几何）时，更是需要专业的知识和复杂的实验设置。这严重限制了仿真技术在机器人操作、数字孪生等领域的应用。
核心思路：该论文的核心思路是利用机器人自身的交互能力，通过一系列的抓取和放置动作，结合视觉感知和力觉感知，自动推断出物体的几何形状和物理属性。通过这种方式，可以避免人工干预，实现可扩展的仿真资产生成。
技术框架：该Real2Sim流程主要包含以下几个阶段：1) 数据采集：利用机器人进行一系列的抓取和放置动作，同时使用外部摄像头捕获物体的视觉信息，并记录机器人的关节扭矩数据。2) 几何重建：利用光度重建技术（如NeRF或Gaussian Splatting）从视觉数据中重建物体的三维几何形状。为了提高重建质量，引入了alpha透明训练，并显式区分前景遮挡和背景消减。3) 物理属性估计：利用机器人关节扭矩数据和重建的几何形状，估计物体的惯性参数等物理属性。4) 仿真资产生成：将重建的几何形状和估计的物理属性整合到仿真环境中，生成可用于仿真的资产。
关键创新：该论文的关键创新在于：1) 全自动流程：整个流程无需人工干预，可以自动完成仿真资产的生成。2) alpha透明训练：通过alpha透明训练，可以从光度重建技术中提取高质量、以物体为中心的网格模型，有效处理遮挡问题。3) 物理属性自动估计：利用机器人自身的交互能力，自动估计物体的物理属性，避免了人工测量的繁琐。
关键设计：在几何重建阶段，使用了alpha透明训练，通过调整alpha值来区分前景和背景，从而提高重建质量。在物理属性估计阶段，利用了机器人的关节扭矩数据，并结合最小二乘法等优化算法，估计物体的惯性参数。具体的损失函数设计和参数设置在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
该论文通过实验验证了所提出的Real2Sim流程的有效性。实验结果表明，该流程可以自动生成高质量的仿真资产，并且在各种物体上都表现良好。与人工建模相比，该流程可以显著降低建模成本和时间。此外，该流程还可以直接集成到现有的抓取放置设置中，实现可扩展的数据集创建。
🎯 应用场景
该研究成果可广泛应用于机器人操作、数字孪生、虚拟现实等领域。例如，可以利用该流程快速生成大量仿真资产，用于训练机器人的抓取和操作技能。在数字孪生领域，可以利用该流程构建真实世界物体的数字模型，用于模拟和优化生产流程。此外，该流程还可以用于创建逼真的虚拟环境，提升虚拟现实体验。
📄 摘要（原文）
Simulating object dynamics from real-world perception shows great promise for digital twins and robotic manipulation but often demands labor-intensive measurements and expertise. We present a fully automated Real2Sim pipeline that generates simulation-ready assets for real-world objects through robotic interaction. Using only a robot's joint torque sensors and an external camera, the pipeline identifies visual geometry, collision geometry, and physical properties such as inertial parameters. Our approach introduces a general method for extracting high-quality, object-centric meshes from photometric reconstruction techniques (e.g., NeRF, Gaussian Splatting) by employing alpha-transparent training while explicitly distinguishing foreground occlusions from background subtraction. We validate the full pipeline through extensive experiments, demonstrating its effectiveness across diverse objects. By eliminating the need for manual intervention or environment modifications, our pipeline can be integrated directly into existing pick-and-place setups, enabling scalable and efficient dataset creation. Project page (with code and data): https://scalable-real2sim.github.io/.