Uncertainty-Driven Self-Play for Robust Multi-Agent Driving Policies
作者: Sajad Marvi, Julian Schmidt, Alessandro Canevaro, Julian Jordan, Abhinav Valada
分类: cs.RO, cs.AI, cs.MA
发布日期: 2026-10-14
💡 一句话要点
提出不确定性驱动自我对抗以解决多智能体驾驶策略的鲁棒性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 自动驾驶 自我对抗 认知不确定性 鲁棒性学习 场景生成 机器学习
📋 核心要点
- 现有的多智能体驾驶策略在面对未见场景时表现不佳，缺乏鲁棒性和适应性。
- 本文提出的不确定性驱动自我对抗方法，通过奖励探索智能体增加邻居的不确定性，自动生成具有挑战性的学习场景。
- 实验结果显示，该方法在多个基准测试中超越了传统自我对抗方法，尤其在零-shot迁移任务中表现优异。
📝 摘要（中文）
学习能够超越训练领域的鲁棒驾驶策略仍然是运动规划中的一个核心挑战。本文提出了一种不确定性驱动的自我对抗方案，其中一半的智能体被奖励以增加邻居的认知不确定性，而另一半则学习安全驾驶。认知不确定性指示策略信心最低的地方，并作为场景难度的自动代理。探索智能体利用这一信号寻找困难案例，生成具有挑战性的课程，无需手动场景设计。实验结果表明，该策略在nuplan Val14和Argoverse 2上实现了最佳的零-shot迁移，且在Waymo上也优于标准自我对抗。
🔬 方法详解
问题定义：本文旨在解决多智能体驾驶策略在未见场景中的鲁棒性问题。现有方法往往依赖于手动设计场景，缺乏有效的自适应学习机制，导致策略在新环境中的表现不佳。
核心思路：提出的不确定性驱动自我对抗方法，通过让一部分智能体专注于增加其他智能体的认知不确定性，促进策略的探索与学习。这种设计使得智能体能够自动识别和应对困难场景，从而提高整体鲁棒性。
技术框架：整体架构包括两个主要模块：探索智能体和安全驾驶智能体。探索智能体通过增加邻居的不确定性来生成挑战场景，而安全驾驶智能体则学习在这些场景中安全驾驶。
关键创新：最重要的创新在于利用认知不确定性作为场景难度的自动代理，从而无需手动设计场景。这一方法显著提高了策略的多样性和适应性。
关键设计：在参数设置上，探索智能体的奖励机制与认知不确定性直接相关，损失函数设计上考虑了安全驾驶与探索之间的平衡，网络结构采用了LSTM以增强对时间序列数据的处理能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在nuplan Val14和Argoverse 2上分别实现了99.12%和82.39%的零-shot迁移性能，显著优于传统自我对抗方法的97.97%和78.03%。此外，在Waymo数据集上，该方法也表现出更高的性能，LSTM隐藏状态覆盖率比基线提高了85%。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统以及机器人协作等。通过提高多智能体系统在复杂环境中的鲁棒性，能够显著提升自动驾驶车辆的安全性和效率，推动智能交通技术的发展。未来，该方法还可能扩展到其他需要自适应学习的领域，如游戏AI和人机交互。
📄 摘要（原文）
Learning robust driving policies that generalize beyond their training domain remains a central challenge in motion planning. We propose an uncertainty-driven self-play scheme, in which half of the agents are rewarded for increasing their neighbors' epistemic uncertainty, while the other half learn to drive safely as the exploring agents continuously seek out their weaknesses. Epistemic uncertainty indicates where the policy is least confident and serves as an automatic proxy for scenario difficulty. Exploring agents use this signal to seek out hard cases, generating a challenging curriculum without manual scenario design. The resulting policy outperforms standard self-play, achieving best-in-class zero-shot transfer to nuplan Val14 (99.12% vs. 97.97%) and Argoverse 2 (82.39% vs. 78.03%) without fine-tuning, while also improving performance over standard self-play on Waymo. Our diversity-driven approach achieves 85% higher LSTM hidden-state coverage than the baseline, indicating a much richer set of behaviors. Further analysis shows that epistemic uncertainty serves as a calibrated difficulty detector, with highest-uncertain agents exhibiting 14.8 times the combined failure rate across collision, off-road, and DNF, of lowest-uncertain agents, enabling automatic prioritization of challenging scenarios without ground-truth labels.