Visual Sim-to-Real Learning for Robotic Insertion under Geometric Variations: Application to Rebar Installation
作者: Tao Sun, Beining Han, Patrick Yin, Rui Xu, Harry He, Abhishek Gupta, Szymon Rusinkiewicz, Yi Shao
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出RebarSim以解决建筑工地钢筋插入问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 钢筋插入 视觉模拟 强化学习 蒸馏训练 领域随机化 机器人施工 自动化
📋 核心要点
- 钢筋插入任务在建筑工地上重复性高且物理要求严苛，现有方法在面对设计和制造公差变化时表现不佳。
- 提出的RebarSim系统通过在模拟环境中训练，利用强化学习和蒸馏技术实现了从模拟到现实的有效转移。
- 实验结果显示，学生模型在真实环境中的成功率达到91.3%，且在多样化设计上表现优于单一设计的专家模型。
📝 摘要（中文）
钢筋插入是建筑工地上重复性强且体力要求高的任务，且在1.4毫米的间隙下属于接触密集型问题。由于设计和制造公差的变化，现实世界的数据需要重新收集。本文提出了RebarSim，一个完全在模拟环境中训练的视觉模拟到现实系统。通过强化学习训练的状态基础教师模型，经过蒸馏转化为多视角学生模型，能够在广泛的领域随机化下将原始RGB和自我感知直接映射到动作。该学生模型在真实环境中实现了91.3%的钢筋插入成功率，显示出几何多样性和预训练的优势。
🔬 方法详解
问题定义：本文旨在解决建筑工地钢筋插入任务中的数据收集和模型训练问题，现有方法在面对几何变化时难以适应，导致性能下降。
核心思路：提出RebarSim系统，通过在模拟环境中训练一个状态基础的教师模型，并将其蒸馏为多视角学生模型，以实现从模拟到现实的有效迁移。
技术框架：系统包括两个主要模块：教师模型和学生模型。教师模型使用强化学习在程序生成的钢筋几何体上进行训练，而学生模型则在多视角下进行动作映射。
关键创新：最重要的创新在于通过领域随机化和DAgger混合策略实现了高效的视觉模拟到现实的转移，显著提高了模型在真实环境中的成功率。
关键设计：在训练过程中，学生模型的预训练使其在适应新设计时所需的蒸馏样本减少了4-6倍，且训练过程中采用了多样化的设计以提升模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RebarSim系统在真实环境中的钢筋插入成功率达到91.3%，相比于单一设计的专家模型，学生模型在未见设计上的成功率显著提升，显示出其在多样化设计上的优越性。
🎯 应用场景
该研究的潜在应用领域包括建筑自动化、机器人施工和智能制造等。通过提高钢筋插入的自动化水平，能够显著降低人力成本和提高施工效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Rebar insertion is among the most repetitive and physically demanding tasks on construction sites, and a contact-rich problem at 1.4 mm clearance. The parts, however, vary at two levels: a nominal design per structural member, and fabrication tolerance around each nominal design. Real-world data therefore has to be re-collected as designs and batches change. We present RebarSim, a visual sim-to-real system trained entirely in simulation. A privileged state-based teacher is trained with reinforcement learning over procedurally generated rebar geometries, then distilled into a multi-view student that maps raw RGB and proprioception directly to actions under extensive domain randomization. The student transfers to the real world zero-shot, seating rebars taken from a real factory production run in 91.3% of real-robot rollouts. Underlying that result, geometry diversity and pretraining both bring benefits. Training across a diverse set of nominal designs rather than one lifts the zero-shot success of both the teacher and the student on unseen designs, and the student policy outperforms a single-design specialist on that specialist's own design. A pretrained student then adapts to a new design with 4--6x fewer distillation samples than one trained from scratch. Visual sim-to-real transfer depends on appearance randomization and the DAgger mixture: removing either one sharply lowers success. Videos, code, and task assets are available at https://rebarsim.github.io.