Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

📄 arXiv: 2604.25076v1 📥 PDF

作者: Keenan Powell, Peihong Yu, Pratap Tokekar

分类: cs.LG

发布日期: 2026-04-28

💡 一句话要点

提出基于随机奖励塑造集成的零样本协作方法，解决稀疏奖励任务中的合作问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 零样本协作 奖励塑造 集成学习 稀疏奖励 泛化能力 Overcooked环境

📋 核心要点

  1. 现有零样本协作方法难以适应奖励塑造差异的智能体，限制了实际应用。
  2. 论文提出使用随机奖励塑造集成的方法，提升智能体在不同奖励塑造下的泛化能力。
  3. 实验表明，该方法在稀疏奖励任务中，相比基线方法性能提升显著。

📝 摘要（中文）

许多多智能体强化学习（MARL）智能体无法很好地适应与具有相同目标但种子、算法或其他训练差异的智能体合作。这就是零样本协作（ZSC）问题，它专注于训练智能体与未知智能体良好合作。ZSC已在各种表格案例和简单游戏（如Hanabi）中进行了研究，并取得了出色的结果。然而，现有的ZSC解决方案仅考虑为你训练的智能体和所有未来伙伴提供相同的奖励。对于训练有素的智能体来说，这是不现实的，因为他们没有考虑到与具有相同稀疏目标但以不同方式塑造这些目标奖励的智能体合作的问题。为了解决这个问题，我们展示了如何使用随机奖励塑造训练方法集成，这些奖励塑造使用4种选择算法选择。在Overcooked环境中进行的实验表明，当与具有相同稀疏奖励但不同奖励塑造的智能体一起玩时，与基线ZSC算法相比，稀疏奖励方面始终提高了62.2%-119.2%。

🔬 方法详解

问题定义：现有的零样本协作（ZSC）方法通常假设所有智能体具有相同的奖励函数。然而，在实际应用中，即使智能体具有相同的稀疏目标，其奖励函数也可能因奖励塑造（reward shaping）而异。这导致训练好的智能体难以与使用不同奖励塑造的智能体进行有效协作，降低了ZSC的泛化能力。

核心思路：论文的核心思路是通过训练一个智能体集合（ensemble），每个智能体使用不同的随机奖励塑造进行训练。这样，智能体可以学习适应不同的奖励塑造方式，从而提高其在与未知智能体协作时的鲁棒性和泛化能力。通过集成多个使用不同奖励塑造训练的智能体，可以有效应对奖励函数差异带来的挑战。

技术框架：该方法主要包含以下几个阶段：1) 奖励塑造选择：使用四种不同的选择算法（具体算法未知）来生成不同的随机奖励塑造方案。2) 智能体训练：使用每种奖励塑造方案训练一个独立的智能体。3) 集成：将所有训练好的智能体集成在一起，形成一个智能体集合。在协作时，该集合中的智能体可以根据具体情况选择合适的策略。

关键创新：该方法的关键创新在于将随机奖励塑造与集成学习相结合，用于解决零样本协作问题。与传统的ZSC方法相比，该方法能够更好地适应奖励函数差异，从而提高智能体的泛化能力。通过训练一个智能体集合，该方法可以有效地应对不同奖励塑造带来的挑战。

关键设计：论文中使用了四种奖励塑造选择算法，但具体算法细节未知。关键的设计在于如何有效地生成多样化的奖励塑造方案，以及如何将这些方案应用于智能体的训练过程中。此外，如何选择合适的集成策略也是一个重要的设计考虑因素。损失函数和网络结构等细节信息未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在Overcooked环境中，与基线ZSC算法相比，在稀疏奖励方面取得了显著的性能提升，幅度达到62.2%-119.2%。这表明该方法能够有效地解决奖励塑造差异带来的挑战，提高智能体在零样本协作任务中的性能。实验结果验证了该方法的有效性和优越性。

🎯 应用场景

该研究成果可应用于多智能体协作机器人、自动驾驶、智能交通等领域。例如，在多机器人协同搬运任务中，不同的机器人可能使用不同的奖励函数来优化其行为。通过使用该方法，可以训练出能够与各种机器人有效协作的智能体，从而提高整个系统的效率和鲁棒性。该方法还有助于解决现实世界中奖励函数难以精确定义的问题。

📄 摘要（原文）

Many Multi-Agent Reinforcement Learning (MARL) agents fail to adapt properly to cooperating with agents trained with the same objectives but different seeds, algorithms, or other training differences. This is the problem of Zero-Shot Coordination (ZSC), which focuses on training agents to cooperate well with unknown agents. ZSC has been studied for a variety of tabular cases and simple games such as Hanabi, achieving excellent results. However, existing solutions to ZSC only consider identical rewards for your trained agents and all future partners. This is not realistic for the trained agents, as they do not consider the problem of cooperating with agents that have identical sparse objectives but shape the rewards for those objectives in different manner. To address this issue, we show how to train an ensemble of methods using randomized reward shapings chosen using 4 selection algorithms. Experiments done on the Overcooked environment demonstrate consistent improvements of 62.2%-119.2% in sparse reward over baseline ZSC algorithms when playing with agents that have identical sparse rewards but different reward shapings.