Heterogeneous Multi-Expert Reinforcement Learning for Long-Horizon Multi-Goal Tasks in Autonomous Forklifts

📄 arXiv: 2601.07304v1 📥 PDF

作者: Yun Chen, Bowei Huang, Fan Guo, Kang Song

分类: cs.RO, cs.AI

发布日期: 2026-01-12

备注: 9 pages

💡 一句话要点

提出异构多专家强化学习框架以解决自主叉车长时间多目标任务问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构多专家 强化学习 自主叉车 长时间任务 多目标任务 物料处理 智能物流

📋 核心要点

  1. 现有方法在处理自主叉车的导航与操作任务时，常常面临优化干扰的问题，导致性能下降。
  2. 本文提出的HMER框架通过将任务分解为多个专家子策略，分别处理导航与操作，避免了任务间的干扰。
  3. 实验结果显示，HMER在任务成功率、操作时间和放置精度上均显著优于传统的顺序和端到端基线方法。

📝 摘要（中文）

自主移动操作在非结构化仓库中需要在高效的大规模导航与高精度的物体交互之间取得平衡。传统的端到端学习方法往往难以处理这两个阶段的冲突需求。为了解决这些限制，本文提出了一种针对自主叉车的异构多专家强化学习（HMER）框架。HMER将长时间任务分解为由语义任务规划器控制的专门子策略，允许每个专家专注于其特定的动作空间而不受干扰。通过引入混合模仿-强化训练策略，HMER在稀疏探索问题上也取得了显著进展。实验结果表明，HMER在Gazebo模拟中显著优于基线方法，任务成功率达到94.2%，操作时间减少21.4%，放置误差控制在1.5厘米以内，验证了其在精确物料处理中的有效性。

🔬 方法详解

问题定义：本文旨在解决自主叉车在长时间多目标任务中的导航与操作之间的优化干扰问题。现有的端到端学习方法难以平衡这两者的需求，导致性能下降。

核心思路：HMER框架通过引入异构多专家策略，将长时间任务分解为多个专门的子策略，分别处理宏观导航与微观操作，从而避免了任务间的干扰。

技术框架：HMER框架包含两个主要模块：语义任务规划器和多个专家子策略。规划器负责协调专家的顺序执行，而每个专家则专注于其特定的动作空间。

关键创新：HMER的核心创新在于将任务分解为多个专家子策略，并通过语义任务规划器进行协调，这一设计有效解决了传统方法中的优化干扰问题。

关键设计：在训练过程中，HMER采用混合模仿-强化训练策略，利用专家演示初始化策略，并通过强化学习进行微调，以应对稀疏探索问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HMER框架在Gazebo模拟中实现了94.2%的任务成功率，相较于基线方法62.5%的成功率提升了31.7%。此外，操作时间减少了21.4%，放置误差控制在1.5厘米以内，验证了其在精确物料处理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动化仓库管理、物流运输和智能制造等。通过提高自主叉车在复杂环境中的操作效率和精度，HMER框架能够显著提升物料处理的自动化水平，降低人力成本，推动智能物流的发展。

📄 摘要（原文）

Autonomous mobile manipulation in unstructured warehouses requires a balance between efficient large-scale navigation and high-precision object interaction. Traditional end-to-end learning approaches often struggle to handle the conflicting demands of these distinct phases. Navigation relies on robust decision-making over large spaces, while manipulation needs high sensitivity to fine local details. Forcing a single network to learn these different objectives simultaneously often causes optimization interference, where improving one task degrades the other. To address these limitations, we propose a Heterogeneous Multi-Expert Reinforcement Learning (HMER) framework tailored for autonomous forklifts. HMER decomposes long-horizon tasks into specialized sub-policies controlled by a Semantic Task Planner. This structure separates macro-level navigation from micro-level manipulation, allowing each expert to focus on its specific action space without interference. The planner coordinates the sequential execution of these experts, bridging the gap between task planning and continuous control. Furthermore, to solve the problem of sparse exploration, we introduce a Hybrid Imitation-Reinforcement Training Strategy. This method uses expert demonstrations to initialize the policy and Reinforcement Learning for fine-tuning. Experiments in Gazebo simulations show that HMER significantly outperforms sequential and end-to-end baselines. Our method achieves a task success rate of 94.2\% (compared to 62.5\% for baselines), reduces operation time by 21.4\%, and maintains placement error within 1.5 cm, validating its efficacy for precise material handling.