Precision at Speed: Sample-Efficient Online Model-Based Reinforcement Learning for Hydraulic Excavator Control
作者: Claudio Canales, Fang Nan, Marco Hutter, Javier Ruiz-del-Solar
分类: cs.RO, cs.LG, eess.SY
发布日期: 2026-09-25
💡 一句话要点
提出在线模型基础强化学习框架以提升挖掘机控制精度
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模型基础强化学习 液压挖掘机 在线学习 路径精度 样本效率 自动化控制
📋 核心要点
- 现有方法在复杂驱动动态下实现高精度、高速控制面临挑战，且在硬件上学习的成本较高。
- 提出了一种在线模型基础强化学习框架，通过学习概率动态模型来实现高效的模型预测控制。
- 在实验中，该框架在样本效率上超越了现有的模型基础强化学习基线，且在真实挖掘机上表现出色。
📝 摘要（中文）
高精度、高速控制对于具有复杂驱动动态的机器人仍然是一个挑战。直接在硬件上学习受到现实交互成本的限制。本文提出了一种在线模型基础强化学习框架，从零开始学习概率动态集成模型，以实现基于采样的模型预测控制。通过精度门控轮廓目标，进展奖励与路径精度相关联，优先考虑精度而非速度。在数据驱动的挖掘机模拟器中，该框架的样本效率高于评估的模型基础强化学习基线。我们在一台11.5吨的Menzi Muck M445液压挖掘机上直接验证了该框架，无需演示或模拟预训练。经过20分钟的交互，控制器的跟踪精度可与先前在100-150分钟数据上训练的控制器相媲美。经过40分钟后，控制器在高操作速度下保持亚厘米的平均路径误差。
🔬 方法详解
问题定义：本文旨在解决在复杂动态环境中实现高精度、高速控制的难题。现有方法在硬件上学习的成本高，且难以在有限的交互数据下达到理想的控制效果。
核心思路：提出的框架通过在线学习概率动态模型，结合精度门控轮廓目标，使得控制策略能够在保证路径精度的同时实现高效的样本利用。
技术框架：整体架构包括动态模型的学习模块、基于模型的预测控制模块和精度门控奖励机制。动态模型通过与环境的交互不断更新，以提高控制精度。
关键创新：最重要的创新在于通过精度门控机制将奖励与路径精度直接关联，从而优先考虑精度，突破了传统方法在速度与精度之间的权衡。
关键设计：在模型学习过程中，采用了概率动态集成模型，损失函数设计为与路径精度相关的奖励函数，确保控制器在有限的交互数据下能够快速收敛。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在样本效率上显著优于现有基线，经过20分钟的交互，控制器的跟踪精度已达到与传统方法相当的水平。经过40分钟的训练，控制器在高速度下的平均路径误差保持在亚厘米级，显示出优异的控制性能。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在建筑、矿业和农业等领域的自动化挖掘作业中。通过提升液压挖掘机的控制精度和效率，可以显著降低人工成本，提高作业安全性和生产效率。未来，该框架还可以扩展到其他类型的机器人控制任务中。
📄 摘要（原文）
Precise, high-speed control remains challenging for robots with complex actuation dynamics. Learning directly on hardware is further constrained by the cost of real-world interaction. We present an online model-based reinforcement learning framework that learns a probabilistic dynamics ensemble model from scratch for sampling-based model predictive control. A precision-gated contouring objective conditions the progress reward on path accuracy, prioritizing precision over speed. In a data-driven excavator simulator, the framework achieves higher sample efficiency than the evaluated model-based reinforcement learning baselines. We validate the framework by learning directly on an 11.5-ton Menzi Muck M445 hydraulic excavator, without demonstrations or simulation pretraining. After 20 minutes of interaction, the controller reaches tracking accuracy comparable to prior learned controllers trained on 100-150 minutes of data. After 40 minutes, it sustains sub-centimeter mean path error at high operating speeds.