CoRe-MARL: Cooperative Redistribution Under Unknown Dynamics Using Recurrent Multi-Agent Reinforcement Learning

📄 arXiv: 2609.18639v1 📥 PDF

作者: Naimur Rahman Chowdhury, Shatabdi Sen Prapti, Md. Salehin Seyam, Limon Bin Hossain

分类: cs.LG, cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出CoRe-MARL框架以解决应急管理中的资源再分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 资源再分配 应急管理 递归网络 服务优化 去中心化决策 供需动态

📋 核心要点

  1. 现有应急管理方法在面对不确定的需求和供应动态时，地方中心的独立决策导致服务不一致。
  2. 本文提出的CoRe-MARL框架通过递归网络和MAPPO实现合作学习，优化资源再分配策略。
  3. 实验结果显示，CoRe-MARL显著减少了地方中心之间的服务差距，并在服务最差的中心提升了服务质量。

📝 摘要（中文）

应急管理援助项目，如救援物资分发，对于向受影响社区提供必要的供应至关重要。然而，这些项目在面对不确定的地方需求和供应动态时，往往在地方中心的网络中独立运作，导致服务的不一致性。为此，本文提出了CoRe-MARL，一个基于递归多智能体强化学习的合作框架，通过将每个中心视为一个智能体，学习再分配策略，以改善服务并缩小服务差距。该框架利用递归网络捕捉动态变化的供需关系，并通过多智能体近端策略优化（MAPPO）实现集中训练和分散执行。实验结果表明，CoRe-MARL在不同轨迹下表现出色，能够有效提升服务质量，尤其是在服务最差的中心。

🔬 方法详解

问题定义：本文旨在解决应急管理中资源再分配的挑战，现有方法在面对不确定的供需动态时，地方中心的独立决策导致服务不均衡和效率低下。

核心思路：CoRe-MARL框架通过将每个地方中心视为一个智能体，利用递归网络捕捉动态变化的供需关系，学习优化的再分配策略，以改善服务质量并缩小服务差距。

技术框架：该框架基于去中心化的部分可观察马尔可夫决策过程（Dec-POMDP），采用多智能体近端策略优化（MAPPO）进行集中训练和分散执行，整体流程包括智能体学习、策略优化和服务评估等模块。

关键创新：最重要的创新在于引入递归网络以捕捉供需动态，结合MAPPO实现有效的合作学习，这与传统的独立决策方法形成了鲜明对比。

关键设计：在技术细节上，框架采用了递归神经网络结构以处理时间序列数据，损失函数设计考虑了服务质量和公平性，确保各个智能体在学习过程中能够有效协调。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CoRe-MARL框架在不同轨迹下表现出色，相较于递归独立PPO（IPPO）和仅基于局部的启发式方法，显著减少了地方中心之间的服务差距，并在服务最差的中心提升了服务质量，展示了其在动态环境中的适应能力。

🎯 应用场景

该研究的潜在应用领域包括灾后救援、物资分配和应急响应等场景。通过优化资源再分配策略，CoRe-MARL能够提升应急管理的效率和公平性，未来可能在实际救援行动中发挥重要作用。

📄 摘要（原文）

Emergency management assistance programs, such as relief distribution, are essential for delivering necessary supplies to affected communities. However, these programs operate in a decentralized network of local centers that face uncertain local demand and supply dynamics, resulting in inconsistent avail- ability of local services. Redistribution of supplies among these local centers reduces these imbalances, but the centers often make decisions independently, with limited information and disrupted transportation. This study develops CoRe-MARL, a cooperative multi-agent reinforcement learning (MARL) framework, by formulating a decentralized partially observable Markov decision process (Dec-POMDP). We treat each center as an agent that learns a redistribution policy to improve the service in the worst-case region and reduce the service gap across regions while protecting network-wide service. We incorporate a recurrent network that captures evolving supply and demand dynamics without direct observation, while multi-agent proximal policy optimization (MAPPO) enables centralized training and decentralized execution (CTDE). We evaluate the framework in a simulated environment with diverse trajectories, where exact dynamics are not observed by actors and the MAPPO critic. We compare the recurrent MAPPO with the recurrent independent PPO (IPPO) and a local only heuristic, and find that MAPPO reduces the service gap across local centers and enhances service for the worst-served center while maintaining competitive network-wide service. The recurrent MAPPO also shows consistent performance across diverse trajectory patterns, demonstrating its ability to adapt to evolving dynamics. The findings demonstrate the capability of cooperative learning for decentralized redistribution and improving equitable service under uncertain and evolving dynamics.