Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning

📄 arXiv: 2509.20766v2 📥 PDF

作者: Gawon Lee, Daesol Cho, H. Jin Kim

分类: cs.RO, cs.LG

发布日期: 2025-09-25 (更新: 2025-09-29)

备注: Accepted for publication in the proceedings of the 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

💡 一句话要点

提出MT-Lévy，结合行为共享与时间扩展探索，提升多任务强化学习在机器人领域的样本效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务强化学习 机器人学习 探索策略 行为共享 时间扩展探索

📋 核心要点

  1. 机器人多任务强化学习面临数据收集成本高昂的挑战，限制了其在实际场景中的应用。
  2. MT-Lévy结合跨任务行为共享和时间扩展探索，引导智能体更高效地探索关键状态。
  3. 实验结果表明，MT-Lévy显著提升了样本效率和探索能力，为机器人多任务学习提供了新思路。

📝 摘要（中文）

多任务强化学习(MTRL)通过在多个任务上训练智能体，实现知识共享，从而提高样本效率和泛化能力。然而，由于收集多样化任务数据的成本高昂，将MTRL应用于机器人领域仍然具有挑战性。为了解决这个问题，我们提出了一种新的探索策略MT-Lévy，它结合了跨任务的行为共享和受Lévy飞行启发的时间扩展探索，从而增强了MTRL环境中的样本效率。MT-Lévy利用在相关任务上训练的策略来引导探索到关键状态，同时根据任务成功率动态调整探索水平。这种方法能够更有效地覆盖状态空间，即使在复杂的机器人环境中也是如此。实验结果表明，MT-Lévy显著提高了探索和样本效率，并通过定量和定性分析得到了支持。消融研究进一步突出了每个组成部分的贡献，表明将行为共享与自适应探索策略相结合可以显著提高MTRL在机器人应用中的实用性。

🔬 方法详解

问题定义：多任务强化学习旨在通过共享多个任务之间的知识来提高学习效率，但在机器人领域，由于收集各种任务数据的成本很高，因此面临挑战。现有的探索方法可能无法有效地覆盖状态空间，导致样本效率低下。

核心思路：MT-Lévy的核心思路是结合跨任务的行为共享和时间扩展探索。通过利用在相关任务上训练的策略来指导探索，可以更有效地找到关键状态。同时，受Lévy飞行启发的时间扩展探索允许智能体在更长的时间范围内进行探索，从而提高探索效率。

技术框架：MT-Lévy主要包含以下几个模块：1) 行为共享模块：利用已训练好的相关任务策略，为当前任务提供探索指导。2) 时间扩展探索模块：基于Lévy飞行，生成时间上相关的动作序列，鼓励智能体进行更长时间的探索。3) 自适应探索水平调整模块：根据任务成功率动态调整探索水平，平衡探索和利用。

关键创新：MT-Lévy的关键创新在于将行为共享与时间扩展探索相结合，并根据任务成功率自适应地调整探索水平。与传统的探索方法相比，MT-Lévy能够更有效地覆盖状态空间，提高样本效率。

关键设计：MT-Lévy的关键设计包括：1) 使用相关任务策略的输出作为探索策略的先验信息。2) 基于Lévy分布生成时间扩展的动作序列。3) 使用任务成功率作为反馈信号，动态调整探索水平。具体参数设置和网络结构的选择取决于具体的任务和环境。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MT-Lévy在多个机器人任务上显著提高了样本效率和探索能力。与基线方法相比，MT-Lévy能够更快地达到目标，并取得更高的成功率。消融研究进一步验证了行为共享和时间扩展探索的有效性，表明它们共同促进了MT-Lévy的性能提升。

🎯 应用场景

MT-Lévy具有广泛的应用前景，例如：机器人操作、自动驾驶、游戏AI等。它可以帮助智能体在复杂环境中更有效地学习多个任务，提高机器人的自主性和适应性。该研究的成果有助于推动机器人技术的发展，使其能够更好地服务于人类。

📄 摘要（原文）

Multi-task reinforcement learning (MTRL) offers a promising approach to improve sample efficiency and generalization by training agents across multiple tasks, enabling knowledge sharing between them. However, applying MTRL to robotics remains challenging due to the high cost of collecting diverse task data. To address this, we propose MT-Lévy, a novel exploration strategy that enhances sample efficiency in MTRL environments by combining behavior sharing across tasks with temporally extended exploration inspired by Lévy flight. MT-Lévy leverages policies trained on related tasks to guide exploration towards key states, while dynamically adjusting exploration levels based on task success ratios. This approach enables more efficient state-space coverage, even in complex robotics environments. Empirical results demonstrate that MT-Lévy significantly improves exploration and sample efficiency, supported by quantitative and qualitative analyses. Ablation studies further highlight the contribution of each component, showing that combining behavior sharing with adaptive exploration strategies can significantly improve the practicality of MTRL in robotics applications.