Hybrid Differential Reward: Combining Temporal Difference and Action Gradients for Efficient Multi-Agent Reinforcement Learning in Cooperative Driving

📄 arXiv: 2511.16916v1 📥 PDF

作者: Ye Han, Lijun Zhang, Dejian Meng, Zhuang Zhang

分类: cs.AI

发布日期: 2025-11-21

💡 一句话要点

提出混合差分奖励机制，解决合作驾驶中多智能体强化学习的奖励稀疏问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 合作驾驶 奖励函数设计 差分奖励 时间差分学习

📋 核心要点

  1. 传统合作驾驶强化学习中，基于状态的奖励函数在奖励差异上存在消失问题，导致策略梯度信噪比低，影响算法收敛。
  2. 论文提出混合差分奖励（HDR）机制，结合时间差分奖励（TRD）和动作梯度奖励（ARG），分别提供全局和局部指导信号。
  3. 实验结果表明，HDR机制显著提高了收敛速度和策略稳定性，引导智能体学习高质量的合作策略。

📝 摘要（中文）

在涉及高频连续控制的多车辆合作驾驶任务中，传统的基于状态的奖励函数存在奖励差异消失的问题。这种现象导致策略梯度的信噪比低，严重阻碍了算法的收敛和性能提升。为了解决这个挑战，本文提出了一种新的混合差分奖励（HDR）机制。我们首先从理论上阐明了交通状态的时间准稳态性质和动作的物理邻近性如何导致传统奖励信号的失效。在此分析的基础上，HDR框架创新性地集成了两个互补的组件：（1）基于全局势函数的时间差分奖励（TRD），它利用势能的演化趋势来确保最优策略不变性，并与长期目标保持一致；（2）动作梯度奖励（ARG），它直接测量动作的边际效用，以提供具有高信噪比的局部指导信号。此外，我们将合作驾驶问题表述为一个具有时变智能体集的多智能体部分可观测马尔可夫博弈（POMDPG），并提供了HDR在该框架内的完整实例化方案。使用在线规划（MCTS）和多智能体强化学习（QMIX、MAPPO、MADDPG）算法进行的大量实验表明，HDR机制显著提高了收敛速度和策略稳定性。结果证实，HDR引导智能体学习高质量的合作策略，有效地平衡了交通效率和安全性。

🔬 方法详解

问题定义：在多智能体合作驾驶场景下，由于交通状态的准稳态性和动作的物理邻近性，传统的基于状态的奖励函数难以区分不同动作的优劣，导致奖励信号稀疏，策略梯度信噪比低，从而阻碍了多智能体强化学习算法的收敛和性能提升。现有方法难以有效平衡交通效率和安全性。

核心思路：论文的核心思路是将全局的时间差分奖励（TRD）和局部的动作梯度奖励（ARG）相结合，形成混合差分奖励（HDR）机制。TRD基于全局势函数，利用势能的变化趋势来引导智能体朝着长期目标前进，保证策略的最优不变性。ARG直接评估动作的边际效用，提供高信噪比的局部指导信号，加速学习过程。

技术框架：该论文将合作驾驶问题建模为多智能体部分可观测马尔可夫博弈（POMDPG），其中智能体集合随时间变化。HDR机制被嵌入到这个POMDPG框架中。整体流程包括：1) 智能体观察局部环境信息；2) 智能体根据策略选择动作；3) 环境根据所有智能体的动作更新状态；4) 根据HDR机制计算每个智能体的奖励；5) 使用多智能体强化学习算法（如QMIX、MAPPO、MADDPG）更新策略。

关键创新：该论文的关键创新在于提出了混合差分奖励（HDR）机制，它结合了时间差分奖励（TRD）和动作梯度奖励（ARG）。与传统的基于状态的奖励函数相比，HDR能够提供更丰富、更有效的奖励信号，从而提高多智能体强化学习算法的收敛速度和性能。HDR机制能够有效应对合作驾驶场景中奖励稀疏的问题。

关键设计：TRD的设计基于全局势函数，该势函数可以反映交通状态的整体优劣。TRD奖励的计算方式是当前状态的势能与前一个状态的势能之差。ARG的设计直接基于动作的梯度，通过评估动作对环境的影响来计算奖励。HDR是TRD和ARG的加权和，权重系数需要根据具体任务进行调整。论文中使用了QMIX、MAPPO、MADDPG等主流的多智能体强化学习算法，并针对合作驾驶场景进行了参数调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HDR机制显著提高了多智能体强化学习算法在合作驾驶任务中的性能。例如，在使用QMIX算法时，HDR机制使得算法的收敛速度提高了约30%，并且最终获得的策略能够更好地平衡交通效率和安全性。与没有使用HDR机制的基线方法相比，使用HDR机制的算法能够学习到更优的合作策略，从而减少车辆间的碰撞风险，并提高整体的交通流量。

🎯 应用场景

该研究成果可应用于自动驾驶、智能交通系统等领域，提升多车辆协同驾驶的安全性、效率和舒适性。通过优化车辆间的协同策略，可以减少交通拥堵、降低事故发生率，并提高道路利用率。该方法还可扩展到其他多智能体协作控制任务中，例如机器人编队、无人机协同等。

📄 摘要（原文）

In multi-vehicle cooperative driving tasks involving high-frequency continuous control, traditional state-based reward functions suffer from the issue of vanishing reward differences. This phenomenon results in a low signal-to-noise ratio (SNR) for policy gradients, significantly hindering algorithm convergence and performance improvement. To address this challenge, this paper proposes a novel Hybrid Differential Reward (HDR) mechanism. We first theoretically elucidate how the temporal quasi-steady nature of traffic states and the physical proximity of actions lead to the failure of traditional reward signals. Building on this analysis, the HDR framework innovatively integrates two complementary components: (1) a Temporal Difference Reward (TRD) based on a global potential function, which utilizes the evolutionary trend of potential energy to ensure optimal policy invariance and consistency with long-term objectives; and (2) an Action Gradient Reward (ARG), which directly measures the marginal utility of actions to provide a local guidance signal with a high SNR. Furthermore, we formulate the cooperative driving problem as a Multi-Agent Partially Observable Markov Game (POMDPG) with a time-varying agent set and provide a complete instantiation scheme for HDR within this framework. Extensive experiments conducted using both online planning (MCTS) and Multi-Agent Reinforcement Learning (QMIX, MAPPO, MADDPG) algorithms demonstrate that the HDR mechanism significantly improves convergence speed and policy stability. The results confirm that HDR guides agents to learn high-quality cooperative policies that effectively balance traffic efficiency and safety.