WeaveRL: Weaving Reconstruction into Scene-Aware Fabrics for Perceptive Reinforcement Learning
作者: Remo Steiner, Vikram Ramasamy, David Tingdahl, Sam Mady, Karl Van Wyk, Nathan Ratliff, David Recasens Lafuente, Soha Pouya, Tuur Stuyck, Alex Millane
分类: cs.RO
发布日期: 2026-09-16
💡 一句话要点
提出WeaveRL以解决复杂场景下的强化学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 机器人操作 3D感知 动态重建 碰撞检测
📋 核心要点
- 现有的强化学习方法在几何复杂的操作任务中面临生成有效策略的挑战，尤其是在碰撞密集的场景中。
- 本文提出了一种基于GPU加速的重建方法，通过在主动回合中实时生成surfels，允许策略基于传感器数据进行操作。
- 实验结果表明，使用场景感知结构的策略在未见障碍物的情况下，任务完成率显著提高，从35%提升至61%。
📝 摘要（中文）
强化学习使机器人能够掌握复杂技能，但在几何复杂的操作中生成策略仍然困难。现有方法依赖于静态、手动指定的场景表示，无法有效整合主动的在线3D感知。本文提出了一种GPU加速的方法，在主动回合中将场景重建为一组surfels，允许策略基于传感器获取的几何信息进行操作。在一系列碰撞密集的操作任务中，surfels结构使得策略能够处理几何复杂的场景，并在面对未见障碍时，任务完成率从35%提升至61%。我们发布了重建系统、训练代码和测试数据集，以促进该方向的研究。
🔬 方法详解
问题定义：本文旨在解决在几何复杂场景中，强化学习策略生成的困难，现有方法依赖静态场景表示，无法适应动态环境。
核心思路：提出了一种GPU加速的重建方法，通过实时生成surfels，使得策略能够基于传感器数据而非手动指定的几何信息进行操作。
技术框架：整体架构包括场景重建模块、策略训练模块和碰撞检测模块。重建模块在每个回合中生成surfels，策略训练模块利用这些数据进行学习。
关键创新：最重要的创新在于将动态重建与强化学习训练相结合，使得策略能够在复杂场景中更有效地工作，显著提高了对新几何体的适应能力。
关键设计：在参数设置上，重建模块采用了高效的GPU计算，损失函数设计考虑了碰撞避免和任务完成率，网络结构则基于深度学习框架，优化了策略学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用场景感知结构的策略在面对未见障碍物时，任务完成率从35%提升至61%，显著优于传统的基于原始几何的基线方法，展示了该方法在复杂操作任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提升机器人在复杂环境中的操作能力，能够显著提高其在实际应用中的效率和安全性，未来可能推动智能机器人技术的广泛应用。
📄 摘要（原文）
Reinforcement learning allows robots to acquire complex skills, but producing policies for geometrically complex manipulation remains difficult. A promising approach is to learn on top of collision-avoidant controllers, such as geometric fabrics. However, these approaches have relied on static, hand-specified representations of the scene. Integrating active, online 3D perception into massively parallel RL training has so far been inaccessible. We introduce a GPU-accelerated method that reconstructs the scene as a collection of surfels across thousands of parallel simulation instances during active rollouts. This lets policies operate over sensor-derived, rather than hand-specified, geometry. On a suite of collision-dense manipulation tasks, our surfel fabrics enable policies to tackle geometrically complex scenes where primitive-based baselines fail, while maintaining sim-to-real transfer. Furthermore, policies learned with a scene-aware fabric are more robust to the introduction of novel geometry at test time, improving collision-free task completion under unseen obstacles from 35% to 61%. We release our reconstruction system, training code and test dataset to spur research in this direction.