RoboFin3D: A Sim-to-Real Platform for Robotic Surface Finishing

📄 arXiv: 2609.37560v1 📥 PDF

作者: Haowei Wen, Shangtao Li, Vaibhav Sanjay, Philip Huang, Jiaoyang Li, Changliu Liu

分类: cs.RO

发布日期: 2026-09-29

备注: Accepted for poster presentation at the IROS 2026 Workshop on Sim2Real and Classical Control: From Rigorous Theory to Data-Driven Robotics

💡 一句话要点

提出RoboFin3D以解决机器人表面抛光中的高成本实验问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人技术 表面抛光 物理仿真 有符号距离场 焊接采样 智能制造 感知模型

📋 核心要点

  1. 现有的机器人表面抛光实验成本高且难以重复，限制了研究和开发的进展。
  2. RoboFin3D通过物理仿真平台，利用SDF和表面场模型，实现低成本的磨削和打磨实验。
  3. 仿真生成的数据显著提升了感知模型的性能，IoU从77.15%提升至84.47%，结合真实数据训练达到97.41%。

📝 摘要（中文）

磨削和打磨是工业机器人表面抛光中的基本工艺。然而，物理实验成本高且消耗工件，使得可重复实验变得困难。我们提出了RoboFin3D，这是一个基于Isaac Sim和Newton物理引擎构建的sim-to-real平台，提供基于物理的磨削和打磨仿真，便于进行低成本和可重复的机器人表面抛光实验。RoboFin3D利用有符号距离场（SDF）来建模工件几何形状的变化，实现接触计算、实时更新和渲染，而无需中间网格。此外，它还使用单独的表面场来模拟打磨过程中表面外观的逐步变化。我们还引入了WeldGen，一个焊接采样模块，生成8,918个真实工件网格上的焊接 bead，以提供多样化的仿真资产。仿真参数基于真实实验结果进行校准，我们的评估证明了仿真的真实度。我们还展示了仿真生成的数据可以用于提高感知模型的性能。

🔬 方法详解

问题定义：本论文旨在解决机器人表面抛光实验中高成本和低重复性的问题。现有方法依赖物理实验，导致资源浪费和实验难以复现。

核心思路：RoboFin3D平台通过物理仿真技术，使用有符号距离场（SDF）和表面场模型，提供低成本且可重复的磨削和打磨实验环境，避免了传统物理实验的局限性。

技术框架：RoboFin3D的整体架构包括仿真环境的构建、接触计算模块、实时更新和渲染模块，以及焊接采样模块WeldGen。仿真环境基于Isaac Sim和Newton物理引擎，确保了物理真实性。

关键创新：最重要的技术创新在于使用SDF进行几何变化建模，避免了中间网格的使用，提高了仿真效率和准确性。此外，WeldGen模块为仿真提供了丰富的焊接资产，增强了实验的多样性。

关键设计：在参数设置上，仿真参数经过真实实验的校准，以确保仿真结果的可信度。损失函数和网络结构设计上，结合了仿真数据与真实数据的训练策略，以提升模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，使用仿真生成的数据对SAM2模型进行微调，IoU在未打磨区域的分割性能从77.15%提升至84.47%。结合仿真和真实数据的训练，模型性能进一步提升至97.41%，显示出仿真数据在提升感知模型性能方面的有效性。

🎯 应用场景

RoboFin3D平台在工业机器人表面抛光领域具有广泛的应用潜力，能够降低实验成本，提高实验效率。其仿真技术可用于机器人学习和训练，推动智能制造和自动化技术的发展。未来，该平台还可扩展到其他机器人操作和仿真任务中，促进更广泛的工业应用。

📄 摘要（原文）

Grinding and sanding are fundamental processes in industrial robotic surface finishing. However, physical trials are expensive and consume workpieces, making reproducible experiments difficult. We present RoboFin3D, a sim-to-real platform built on Isaac Sim and the Newton physics engine, that provides physics-based grinding and sanding simulation for cheap and repeatable robotic surface finishing experiments. RoboFin3D utilizes a signed distance field (SDF) to model the changing geometry of the workpiece, enabling contact computation, live updates and rendering without an intermediate mesh. It additionally uses a separate surface field to model progressive surface appearance change during sanding. We also introduce WeldGen, a weld sampling module, to generate weld beads on 8,918 real-world workpiece meshes for providing diverse simulation assets. The simulation parameters are calibrated on real experimental results and our evaluation demonstrates our simulation's fidelity against the real world. We also demonstrate that simulation-generated data can be used to improve the performance of perception models. Simulation-only fine-tuning of SAM2 improves IoU for segmentation of unsanded regions from 77.15% to 84.47%, while combined synthetic and real training reaches 97.41%.