Size Doesn't Matter: Material-State Reinforcement Learning for Excavator Transferable Soil Manipulation
作者: Lennart Werner, Pol Eyschen, Sean Costello, Pierluigi Micarelli, Andrei Cramariuc, Marco Hutter
分类: cs.RO
发布日期: 2026-09-11
备注: 22 pages, 31 figures, journal paper
💡 一句话要点
提出材料状态强化学习以解决挖掘机土壤操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 土方作业 材料点法 自主系统 机器人控制 土壤力学 多接触面操作
📋 核心要点
- 现有的自主土方作业系统主要依赖启发式模型，未能有效利用土壤力学，导致操作能力受限。
- 本文提出了一种基于材料状态的强化学习方法，利用GPU并行化的材料点法模拟，增强了工具的多面接触能力。
- 实验结果表明，经过校准的控制策略在不同机器上均能有效执行，且在堤坝构建中表现出色，速度与专家相当。
📝 摘要（中文）
土方作业如挖掘、回填和筑堤需要对可变形土壤进行精确的重新定位。人类操作员利用铲斗的所有面，而现有的自主系统仅限于挖掘和倾倒。当前方法多依赖启发式模型，未能有效融入土壤力学。本文通过在GPU并行化的材料点法粒子模拟中应用强化学习，解决了这一短板。我们的控制器基于材料状态（如形状和密实度）进行调节，使得工具能够利用多个接触面进行操作，能够在铲斗内外移动材料。我们在11.5吨的液压挖掘机和500克的桌面机器人上评估了这种经过校准的迁移，验证了在45分钟内自主构建42米长、2.1米高的堤坝，执行201次政策操作而无需失败、重试或操作员干预。与专家操作员的速度相比，自主控制器的进度速度相当，并且产生了更高、更一致的堤坝。
🔬 方法详解
问题定义：本文旨在解决现有自主土方作业系统在操作灵活性和效率上的不足，尤其是在材料力学应用方面的短板。现有方法多依赖于启发式模型，无法充分利用土壤的物理特性。
核心思路：论文提出了一种基于材料状态的强化学习框架，通过GPU并行化的材料点法模拟，使得控制器能够根据土壤的形状和密实度进行调节，从而实现多接触面的操作能力。
技术框架：整体架构包括材料状态的感知模块、强化学习控制器和校准的机器接口。首先，通过传感器获取土壤的物理状态，然后利用强化学习算法训练控制器，最后通过校准的接口将策略应用于不同的机械设备。
关键创新：本文的主要创新在于将材料状态纳入强化学习控制器的设计中，使得控制器能够在不同的土壤条件下灵活操作，显著提升了自主系统的操作能力和适应性。
关键设计：在设计中，控制器的损失函数考虑了材料的物理特性，网络结构采用了深度学习模型以处理复杂的状态输入，确保了策略的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过校准的控制策略在11.5吨液压挖掘机和500克桌面机器人上成功执行了201次操作，构建了42米长、2.1米高的堤坝，且无需失败或重试，表现出与专家操作员相当的速度和更高的一致性。
🎯 应用场景
该研究的潜在应用领域包括建筑工程、土方作业和农业机械等。通过提升自主系统在土壤操作中的灵活性和效率，能够显著降低人力成本，提高施工精度，未来可能在智能施工和自动化农业中发挥重要作用。
📄 摘要（原文）
Earthmoving tasks such as excavation, backfilling, or embankment construction require deliberate repositioning of deformable soil. For these tasks, human operators use all shovel faces, while autonomous systems so far are limited to excavation and dumping. Current methods often rely on heuristic models but do not incorporate soil mechanics. We address this shortcoming by using Reinforcement Learning in a GPU-parallelized Material Point Method particle simulation. Our controllers are conditioned on material state such as shape and compactness, enabling skills that use multiple contact faces of the tool and displace material both inside and outside of the shovel. To use the same learned weights across machines, our policies operate in a normalized end-effector space and are deployed through a calibrated machine interface. We evaluate this calibrated transfer on an 11.5t hydraulic excavator and a 500g tabletop robot. We validate performance through autonomous construction of a 42m long, 2.1m high embankment in 45min, executing 201 individual policy strokes without failure, retry, or operator intervention. In a direct comparison, the autonomous controller matches an expert operator's progression speed and produces a higher, more consistent embankment. Additional qualitative backfilling and compaction experiments demonstrate the material-state awareness and calibrated transfer across machines.