ReCoDe: Reinforcement Learning-based Dynamic Constraint Design for Multi-Agent Coordination
作者: Michael Amir, Guang Yang, Zhan Gao, Keisuke Okumura, Heedo Woo, Amanda Prorok
分类: cs.RO, cs.AI, cs.LG, cs.MA
发布日期: 2025-07-25 (更新: 2025-08-02)
备注: To appear in CoRL 2025
💡 一句话要点
提出ReCoDe，一种基于强化学习的动态约束设计方法，用于多智能体协同导航。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体系统 强化学习 约束优化 协同导航 动态约束
📋 核心要点
- 现有手工设计约束的控制器在复杂多智能体协同场景中表现不足，难以应对动态变化。
- ReCoDe通过强化学习动态设计约束，在专家控制器的基础上增加额外约束，提升协同性能。
- 实验表明，ReCoDe在多智能体导航任务中优于传统控制器和MARL方法，并进行了真实机器人验证。
📝 摘要（中文）
本文提出了一种名为ReCoDe（Reinforcement-based Constraint Design）的去中心化混合框架，它融合了基于优化的控制器的可靠性和多智能体强化学习的适应性。ReCoDe通过学习额外的动态约束来改进专家控制器，这些约束能够捕捉更微妙的行为，例如，在复杂环境中约束智能体的运动以防止拥堵。通过局部通信，智能体共同约束其允许的动作，从而在不断变化的环境下更有效地协同。本文重点研究ReCoDe在需要复杂、基于上下文的运动和共识的多智能体导航任务中的应用，实验表明，它优于纯手工设计的控制器、其他混合方法和标准MARL基线。经验（真实机器人）和理论证据表明，保留用户定义的控制器（即使它不完美）比从头开始学习更有效，特别是ReCoDe可以动态地改变其对该控制器的依赖程度。
🔬 方法详解
问题定义：多智能体协同导航问题，尤其是在复杂和动态环境中，手工设计的约束条件难以满足所有需求。现有的基于优化的控制器虽然可靠，但缺乏适应性；而纯粹的强化学习方法训练成本高，且难以保证安全性。因此，需要一种能够结合两者优势的方法，既能利用先验知识，又能适应环境变化。
核心思路：ReCoDe的核心思路是利用强化学习来动态地调整和优化约束条件，而不是完全依赖手工设计的约束。它保留了一个用户定义的专家控制器，并学习额外的动态约束，这些约束可以根据环境的变化来调整智能体的行为，从而提高协同效率和安全性。这种混合方法能够更快地收敛，并获得更好的性能。
技术框架：ReCoDe是一个去中心化的框架，每个智能体都运行一个独立的强化学习策略。整体流程如下：1) 每个智能体根据当前状态和局部观测，使用专家控制器计算出一个初步的动作。2) 智能体通过局部通信与其他智能体共享信息。3) 强化学习策略根据接收到的信息，学习一组动态约束，这些约束限制了智能体的动作空间。4) 智能体在约束的动作空间内选择最终的动作，并执行。
关键创新：ReCoDe的关键创新在于动态约束的设计。与静态约束不同，动态约束可以根据环境的变化进行调整，从而更好地适应复杂和动态的场景。此外，ReCoDe通过保留专家控制器，避免了从头开始学习的困难，并能够利用先验知识来指导学习过程。这种混合方法能够更快地收敛，并获得更好的性能。
关键设计：ReCoDe使用了一种基于策略梯度的强化学习算法来学习动态约束。具体来说，它使用一个神经网络来表示策略，该网络以智能体的状态和局部观测作为输入，并输出一组约束参数。损失函数包括一个奖励项，用于鼓励智能体完成任务，以及一个惩罚项，用于防止智能体违反约束。此外，ReCoDe还使用了一种探索策略，以鼓励智能体探索不同的约束条件。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ReCoDe在多智能体导航任务中优于纯手工设计的控制器、其他混合方法和标准MARL基线。例如，在拥堵场景中，ReCoDe能够显著减少碰撞次数，并提高导航效率。此外，真实机器人实验也验证了ReCoDe的有效性。
🎯 应用场景
ReCoDe可应用于各种需要多智能体协同的场景，如自动驾驶、无人机编队、机器人仓库管理等。通过动态调整约束条件，ReCoDe能够提高系统的鲁棒性和适应性，从而在复杂和动态的环境中实现更高效、更安全的协同。
📄 摘要（原文）
Constraint-based optimization is a cornerstone of robotics, enabling the design of controllers that reliably encode task and safety requirements such as collision avoidance or formation adherence. However, handcrafted constraints can fail in multi-agent settings that demand complex coordination. We introduce ReCoDe--Reinforcement-based Constraint Design--a decentralized, hybrid framework that merges the reliability of optimization-based controllers with the adaptability of multi-agent reinforcement learning. Rather than discarding expert controllers, ReCoDe improves them by learning additional, dynamic constraints that capture subtler behaviors, for example, by constraining agent movements to prevent congestion in cluttered scenarios. Through local communication, agents collectively constrain their allowed actions to coordinate more effectively under changing conditions. In this work, we focus on applications of ReCoDe to multi-agent navigation tasks requiring intricate, context-based movements and consensus, where we show that it outperforms purely handcrafted controllers, other hybrid approaches, and standard MARL baselines. We give empirical (real robot) and theoretical evidence that retaining a user-defined controller, even when it is imperfect, is more efficient than learning from scratch, especially because ReCoDe can dynamically change the degree to which it relies on this controller.