Continuous-Time Value Iteration for Multi-Agent Reinforcement Learning

📄 arXiv: 2509.09135v2 📥 PDF

作者: Xuefeng Wang, Lei Zhang, Henglin Pu, Ahmed H. Qureshi, Husheng Li

分类: cs.LG, cs.MA

发布日期: 2025-09-11 (更新: 2025-09-17)

备注: 19 pages, 10 figures

💡 一句话要点

提出基于物理信息神经网络的连续时间多智能体强化学习框架，解决高频交互和维度灾难问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 连续时间强化学习 多智能体系统 物理信息神经网络 价值梯度迭代 Hamilton-Jacobi-Bellman方程

📋 核心要点

  1. 传统强化学习在高频交互和不规则时间间隔的复杂动态系统中表现不佳，连续时间强化学习在多智能体场景应用受限于维度灾难和价值函数近似难题。
  2. 论文提出CT-MARL框架，利用物理信息神经网络(PINN)逼近HJB方程的价值函数，并通过价值梯度迭代(VGI)模块对齐价值学习和梯度学习。
  3. 实验结果表明，该方法在多智能体粒子环境(MPE)和多智能体MuJoCo等连续时间基准测试中，优于现有连续时间强化学习基线。

📝 摘要（中文）

现有的强化学习方法难以处理需要高频或不规则时间间隔交互的复杂动态系统。连续时间强化学习(CTRL)通过用Hamilton-Jacobi-Bellman (HJB)方程的粘性解定义的微分价值函数代替离散时间Bellman递归，成为一种有前景的替代方案。虽然CTRL显示出潜力，但其应用主要限于单智能体领域。这种限制源于两个关键挑战：(i) HJB方程的传统求解方法存在维度灾难(CoD)，使其在高维系统中难以处理；(ii) 即使采用基于HJB的学习方法，在多智能体环境中准确逼近中心化价值函数仍然很困难，这反过来会破坏策略训练。本文提出了一种CT-MARL框架，该框架使用物理信息神经网络(PINN)来大规模逼近基于HJB的价值函数。为了确保价值与微分结构一致，我们通过引入价值梯度迭代(VGI)模块来对齐价值学习与价值梯度学习，该模块迭代地细化沿轨迹的价值梯度。这提高了梯度保真度，进而产生更准确的价值和更强的策略学习。我们使用标准基准的连续时间变体（包括多智能体粒子环境(MPE)和多智能体MuJoCo）评估了我们的方法。结果表明，我们的方法始终优于现有的连续时间RL基线，并可扩展到复杂的多智能体动态。

🔬 方法详解

问题定义：论文旨在解决多智能体连续时间强化学习中，由于高维状态空间和连续时间动态带来的维度灾难问题，以及中心化价值函数难以准确估计的问题。现有方法难以在高频交互和不规则时间间隔下进行有效学习，导致策略训练不稳定。

核心思路：论文的核心思路是利用物理信息神经网络（PINNs）来近似求解Hamilton-Jacobi-Bellman（HJB）方程，从而得到连续时间下的价值函数。同时，通过价值梯度迭代（VGI）模块，显式地学习和优化价值函数的梯度，以提高价值函数近似的准确性和一致性。

技术框架：CT-MARL框架主要包含以下几个部分：首先，使用PINN来近似HJB方程，将HJB方程的残差作为损失函数的一部分。其次，引入VGI模块，该模块通过采样轨迹上的状态，计算价值函数的梯度，并将其与PINN预测的梯度进行比较，从而优化梯度。最后，使用学习到的价值函数来指导策略学习，例如通过策略梯度方法。整体流程是迭代地更新PINN和策略，直到收敛。

关键创新：论文的关键创新在于将PINN和VGI模块结合起来，显式地学习和优化价值函数的梯度。这与传统的基于HJB方程的强化学习方法不同，后者通常只关注价值函数的近似，而忽略了梯度的重要性。通过显式地学习梯度，可以提高价值函数近似的准确性和一致性，从而提高策略学习的性能。

关键设计：PINN的网络结构通常是多层感知机（MLP），损失函数包括HJB方程的残差项、VGI模块的梯度损失项以及可选的正则化项。VGI模块的关键在于如何有效地采样轨迹上的状态，以及如何定义梯度损失函数。论文中可能使用了特定的采样策略和损失函数形式，以提高学习效率和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的CT-MARL框架在多智能体粒子环境(MPE)和多智能体MuJoCo等连续时间基准测试中，显著优于现有的连续时间强化学习基线。具体而言，该方法在多个任务上取得了更高的平均回报，并且在一些任务上表现出更快的收敛速度。这些结果验证了该方法在复杂多智能体动态系统中的有效性和优越性。

🎯 应用场景

该研究成果可应用于需要高频交互和连续时间控制的多智能体系统，例如自动驾驶、机器人协同、金融交易等领域。通过学习连续时间的价值函数，可以实现更精确的控制和更高效的决策，从而提高系统的整体性能和鲁棒性。未来，该方法有望扩展到更复杂的动态系统和更大规模的多智能体环境。

📄 摘要（原文）

Existing reinforcement learning (RL) methods struggle with complex dynamical systems that demand interactions at high frequencies or irregular time intervals. Continuous-time RL (CTRL) has emerged as a promising alternative by replacing discrete-time Bellman recursion with differential value functions defined as viscosity solutions of the Hamilton--Jacobi--Bellman (HJB) equation. While CTRL has shown promise, its applications have been largely limited to the single-agent domain. This limitation stems from two key challenges: (i) conventional solution methods for HJB equations suffer from the curse of dimensionality (CoD), making them intractable in high-dimensional systems; and (ii) even with HJB-based learning approaches, accurately approximating centralized value functions in multi-agent settings remains difficult, which in turn destabilizes policy training. In this paper, we propose a CT-MARL framework that uses physics-informed neural networks (PINNs) to approximate HJB-based value functions at scale. To ensure the value is consistent with its differential structure, we align value learning with value-gradient learning by introducing a Value Gradient Iteration (VGI) module that iteratively refines value gradients along trajectories. This improves gradient fidelity, in turn yielding more accurate values and stronger policy learning. We evaluate our method using continuous-time variants of standard benchmarks, including multi-agent particle environment (MPE) and multi-agent MuJoCo. Our results demonstrate that our approach consistently outperforms existing continuous-time RL baselines and scales to complex multi-agent dynamics.