AID: Agent Intent from Diffusion for Multi-Agent Informative Path Planning

📄 arXiv: 2512.02535v1 📥 PDF

作者: Jeric Lew, Yuhong Cao, Derek Ming Siang Tan, Guillaume Sartoretti

分类: cs.RO

发布日期: 2025-12-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出AID框架，利用扩散模型进行多智能体信息路径规划，提升效率与信息增益。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体系统 信息路径规划 扩散模型 强化学习 行为克隆

📋 核心要点

  1. 现有MAIPP方法依赖自回归意图预测，计算成本高，易累积误差，限制了效率和可扩展性。
  2. AID利用扩散模型生成长期轨迹，实现非自回归的意图预测，降低计算复杂度并避免误差累积。
  3. AID通过行为克隆和强化学习微调，继承专家知识并提升协同能力，实验表明可显著提高效率和信息增益。

📝 摘要（中文）

在大规模或时间紧迫的场景（如环境监测、搜索和救援）中进行信息收集需要在有限的时间预算内实现广泛覆盖，这促使了多智能体系统的应用。这些场景通常被形式化为多智能体信息路径规划（MAIPP），其中多个智能体必须协同工作，以在预算约束下最大化信息增益。MAIPP的一个核心挑战是确保有效的协同，同时环境的置信度随着传入的测量值而演变。最近基于学习的方法通过使用未来位置的分布作为“意图”来支持协同。然而，这些自回归意图预测器计算成本高昂且容易产生累积误差。受扩散模型作为富有表现力的长时程策略的有效性的启发，我们提出了AID，一个完全去中心化的MAIPP框架，它利用扩散模型以非自回归的方式生成长期轨迹。AID首先对现有MAIPP规划器生成的轨迹执行行为克隆，然后通过扩散策略策略优化（DPPO）使用强化学习来微调策略。这个两阶段的流程使策略能够继承专家行为，同时通过在线奖励反馈学习改进的协同。实验表明，AID始终优于其训练来源的MAIPP规划器，实现了高达4倍的执行速度提升和17%的信息增益，同时有效地扩展到更多数量的智能体。我们的实现可在https://github.com/marmotlab/AID公开获取。

🔬 方法详解

问题定义：论文旨在解决多智能体信息路径规划（MAIPP）问题，即在有限预算下，多个智能体如何协同行动以最大化信息增益。现有基于学习的MAIPP方法，特别是那些使用自回归意图预测的方法，存在计算成本高昂和容易累积误差的问题，限制了它们在更大规模或时间敏感场景中的应用。

核心思路：论文的核心思路是利用扩散模型来生成智能体的长期轨迹，从而实现非自回归的意图预测。扩散模型能够生成高质量、多样化的样本，并且避免了自回归模型中的误差累积问题。通过将扩散模型应用于MAIPP，可以显著降低计算复杂度，并提高智能体协同的效率和鲁棒性。

技术框架：AID框架包含两个主要阶段：行为克隆和强化学习微调。首先，使用现有的MAIPP规划器生成轨迹数据，并利用这些数据对扩散模型进行行为克隆，使其能够模仿专家策略。然后，使用扩散策略策略优化（DPPO）算法对扩散模型进行微调，通过在线奖励反馈来学习改进的协同策略。整个框架是完全去中心化的，每个智能体都独立运行自己的扩散模型。

关键创新：AID最重要的技术创新在于将扩散模型应用于多智能体信息路径规划，并将其用于生成智能体的长期轨迹。与传统的自回归意图预测方法相比，扩散模型能够以非自回归的方式生成轨迹，从而避免了误差累积问题，并显著降低了计算复杂度。此外，AID还采用了两阶段的训练方法，即先进行行为克隆，再进行强化学习微调，从而能够有效地利用专家知识，并学习到更好的协同策略。

关键设计：AID的关键设计包括：1) 使用扩散模型来表示智能体的策略，扩散模型将当前状态作为输入，输出一个轨迹的分布；2) 使用DPPO算法进行强化学习微调，DPPO是一种适用于连续动作空间的策略梯度算法；3) 设计合适的奖励函数，鼓励智能体探索未知的区域，并避免碰撞；4) 采用去中心化的架构，每个智能体都独立运行自己的扩散模型，并通过通信进行协同。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AID在MAIPP任务中显著优于现有方法。AID在执行速度上提升高达4倍，信息增益提升高达17%。此外，AID还展现出良好的可扩展性，能够有效地应用于更大规模的智能体系统。这些结果验证了AID框架的有效性和优越性。

🎯 应用场景

AID框架可应用于环境监测、搜索救援、自动驾驶车队、机器人探索等领域。通过高效的信息收集和路径规划，能够提升任务效率、降低成本，并为决策提供更全面的信息支持。未来，该研究有望推动多智能体系统在复杂环境下的应用，并促进相关技术的进一步发展。

📄 摘要（原文）

Information gathering in large-scale or time-critical scenarios (e.g., environmental monitoring, search and rescue) requires broad coverage within limited time budgets, motivating the use of multi-agent systems. These scenarios are commonly formulated as multi-agent informative path planning (MAIPP), where multiple agents must coordinate to maximize information gain while operating under budget constraints. A central challenge in MAIPP is ensuring effective coordination while the belief over the environment evolves with incoming measurements. Recent learning-based approaches address this by using distributions over future positions as "intent" to support coordination. However, these autoregressive intent predictors are computationally expensive and prone to compounding errors. Inspired by the effectiveness of diffusion models as expressive, long-horizon policies, we propose AID, a fully decentralized MAIPP framework that leverages diffusion models to generate long-term trajectories in a non-autoregressive manner. AID first performs behavior cloning on trajectories produced by existing MAIPP planners and then fine-tunes the policy using reinforcement learning via Diffusion Policy Policy Optimization (DPPO). This two-stage pipeline enables the policy to inherit expert behavior while learning improved coordination through online reward feedback. Experiments demonstrate that AID consistently improves upon the MAIPP planners it is trained from, achieving up to 4x faster execution and 17% increased information gain, while scaling effectively to larger numbers of agents. Our implementation is publicly available at https://github.com/marmotlab/AID.