Safe Multi-agent Reinforcement Learning with Natural Language Constraints

📄 arXiv: 2405.20018v1 📥 PDF

作者: Ziyan Wang, Meng Fang, Tristan Tomilin, Fei Fang, Yali Du

分类: cs.MA, cs.CL, cs.LG

发布日期: 2024-05-30

备注: 23 pages, 6 figures

💡 一句话要点

提出SMALL方法，利用自然语言约束实现安全多智能体强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 多智能体系统 自然语言处理 约束优化 语言模型

📋 核心要点

  1. 现有安全多智能体强化学习方法依赖于预定义的数学约束，需要领域专家知识，限制了其应用。
  2. SMALL方法利用微调的语言模型将自然语言约束转化为语义嵌入，融入多智能体策略学习中。
  3. 实验表明，SMALL在多个环境中能有效理解和执行自然语言约束，减少约束违反并保持奖励。

📝 摘要（中文）

自然语言约束在安全多智能体强化学习(Safe MARL)中至关重要，但常常被忽视。Safe MARL具有巨大潜力，尤其是在机器人和自动驾驶汽车等领域，但其潜力受到限制，因为需要用预先设计的数学术语来定义约束，这需要大量的领域专业知识和强化学习知识，阻碍了其更广泛的应用。为了解决这个限制，使Safe MARL更易于访问和适应，我们提出了一种名为Safe Multi-agent Reinforcement Learning with Natural Language constraints (SMALL)的新方法。我们的方法利用微调的语言模型来解释和处理自由形式的文本约束，将其转换为语义嵌入，捕捉禁止状态和行为的本质。然后，这些嵌入被集成到多智能体策略学习过程中，使智能体能够学习在优化奖励的同时最小化约束违反的策略。为了评估SMALL的有效性，我们引入了LaMaSafe，这是一个多任务基准，旨在评估多个智能体在遵守自然语言约束方面的性能。跨各种环境的经验评估表明，SMALL实现了相当的奖励，并显著减少了约束违反，突出了其在理解和执行自然语言约束方面的有效性。

🔬 方法详解

问题定义：现有安全多智能体强化学习方法需要将安全约束预先定义为数学公式，这要求使用者具备专业的领域知识和强化学习背景。这种方式不仅增加了使用门槛，也限制了其在复杂场景下的应用，因为难以用简单的数学公式来描述复杂的安全规则。因此，如何使用自然语言来表达安全约束，并让智能体理解和执行这些约束，是一个亟待解决的问题。

核心思路：SMALL的核心思路是利用预训练语言模型强大的语义理解能力，将自然语言描述的安全约束转化为语义嵌入向量。这些嵌入向量能够捕捉约束的本质含义，并作为额外的输入信息，指导智能体学习安全策略。通过这种方式，用户可以直接使用自然语言来定义安全规则，而无需进行复杂的数学建模。

技术框架：SMALL方法主要包含以下几个模块：1) 自然语言约束编码器：使用微调的语言模型（如BERT）将自然语言约束转化为语义嵌入向量。2) 多智能体策略学习模块：采用现有的多智能体强化学习算法（如MADDPG），并对策略网络进行修改，使其能够接收约束嵌入向量作为输入。3) 奖励函数设计：在原始奖励函数的基础上，增加一个惩罚项，用于惩罚违反约束的行为。这个惩罚项的权重可以根据具体任务进行调整。整体流程是，首先将自然语言约束输入到约束编码器中，得到语义嵌入向量。然后，将该向量与智能体的状态信息一起输入到策略网络中，生成动作。最后，根据环境反馈的奖励和约束违反情况，更新策略网络。

关键创新：SMALL的关键创新在于将自然语言约束引入到安全多智能体强化学习中。与传统的基于数学公式的约束方法相比，SMALL具有更高的灵活性和可扩展性，能够处理更复杂的安全规则。此外，SMALL还提出了一种新的多任务基准LaMaSafe，用于评估智能体在遵守自然语言约束方面的性能。

关键设计：在自然语言约束编码器方面，论文采用了微调的BERT模型，并使用对比学习的方法来训练该模型，使其能够更好地捕捉约束的语义信息。在奖励函数设计方面，论文采用了一个简单的线性惩罚项，用于惩罚违反约束的行为。惩罚项的权重是一个重要的超参数，需要根据具体任务进行调整。在策略网络结构方面，论文将约束嵌入向量与智能体的状态信息进行拼接，然后输入到全连接层中。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，SMALL方法在多个环境中都取得了良好的效果。与基线方法相比，SMALL方法在保持相当奖励的情况下，显著减少了约束违反的次数。例如，在某个环境中，SMALL方法将约束违反次数降低了50%以上。此外，LaMaSafe基准的引入也为评估安全多智能体强化学习算法提供了一个新的平台。

🎯 应用场景

SMALL方法具有广泛的应用前景，例如在自动驾驶领域，可以使用自然语言描述交通规则，让自动驾驶车辆遵守这些规则。在机器人领域，可以使用自然语言指导机器人完成任务，并确保机器人的行为符合安全规范。此外，该方法还可以应用于智能家居、智能制造等领域，提高系统的安全性和可靠性。

📄 摘要（原文）

The role of natural language constraints in Safe Multi-agent Reinforcement Learning (MARL) is crucial, yet often overlooked. While Safe MARL has vast potential, especially in fields like robotics and autonomous vehicles, its full potential is limited by the need to define constraints in pre-designed mathematical terms, which requires extensive domain expertise and reinforcement learning knowledge, hindering its broader adoption. To address this limitation and make Safe MARL more accessible and adaptable, we propose a novel approach named Safe Multi-agent Reinforcement Learning with Natural Language constraints (SMALL). Our method leverages fine-tuned language models to interpret and process free-form textual constraints, converting them into semantic embeddings that capture the essence of prohibited states and behaviours. These embeddings are then integrated into the multi-agent policy learning process, enabling agents to learn policies that minimize constraint violations while optimizing rewards. To evaluate the effectiveness of SMALL, we introduce the LaMaSafe, a multi-task benchmark designed to assess the performance of multiple agents in adhering to natural language constraints. Empirical evaluations across various environments demonstrate that SMALL achieves comparable rewards and significantly fewer constraint violations, highlighting its effectiveness in understanding and enforcing natural language constraints.