Multi-Agent LLM Actor-Critic Framework for Social Robot Navigation

📄 arXiv: 2503.09758v1 📥 PDF

作者: Weizheng Wang, Ike Obi, Byung-Cheol Min

分类: cs.RO, cs.MA

发布日期: 2025-03-12

💡 一句话要点

提出SAMALM：一种用于社交机器人导航的多智能体LLM Actor-Critic框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 社交机器人导航 大型语言模型 Actor-Critic 人机交互

📋 核心要点

  1. 现有社交机器人导航方法难以适应新场景，基于LLM的方法依赖集中决策，缺乏验证，宏观动作转换不一致。
  2. SAMALM采用去中心化多智能体架构，利用LLM Actor生成控制信号，并通过全局和局部Critic进行两层验证。
  3. 实验结果表明，SAMALM能有效平衡自主性与监督，在多机器人场景中表现出良好的社交规范性和适应性。

📝 摘要（中文）

本文提出了一种名为SAMALM的去中心化多智能体LLM Actor-Critic框架，用于多机器人社交导航。该框架旨在解决现有基于LLM的社交机器人导航方法中存在的集中式决策、缺乏验证机制以及宏观动作到低层控制信号转换不一致等问题。SAMALM利用一组并行的LLM Actor直接生成控制信号，这些信号通过一个全局Critic评估群体行为和一个局部Critic评估个体机器人环境来进行两层验证。此外，采用基于熵的评分融合机制来增强自我验证和重新查询，从而提高鲁棒性和协调性。实验结果表明，SAMALM能够有效地平衡局部自主性和全局监督，在各种多机器人场景中产生符合社会规范的行为和强大的适应性。

🔬 方法详解

问题定义：论文旨在解决社交机器人导航（SAN）问题，特别是多机器人环境下的SAN。现有方法，尤其是基于深度强化学习的方法，虽然在基准测试中表现良好，但泛化能力差，难以适应新的环境和场景。而基于LLM的方法虽然具备零样本导航的潜力，但大多采用集中式决策，缺乏有效的验证机制，并且难以将LLM生成的宏观动作转化为精确的底层控制信号，导致导航效果不稳定。

核心思路：论文的核心思路是采用去中心化的多智能体架构，每个智能体配备一个LLM Actor，负责生成控制信号。通过引入全局Critic和局部Critic进行两层验证，确保个体行为符合社会规范，并与群体目标保持一致。同时，利用基于熵的评分融合机制，提高自我验证能力，并在必要时重新查询，从而增强系统的鲁棒性和协调性。

技术框架：SAMALM框架包含以下几个主要模块：1) LLM Actors：一组并行的LLM Actor，每个Actor代表不同的机器人个性或配置，直接生成控制信号。2) Local Critics：评估每个机器人个体行为的局部环境适应性。3) Global Critic：评估整个机器人群体的行为是否符合社会规范和群体目标。4) Entropy-based Score Fusion：基于熵值融合局部和全局Critic的评分，用于自我验证和重新查询。整个流程是，LLM Actors生成动作，Local Critics和Global Critic分别评估，通过熵值融合评分，如果评分低于阈值，则触发重新查询，直到生成满足要求的动作。

关键创新：SAMALM的关键创新在于其去中心化的多智能体架构和两层验证机制。与传统的集中式决策方法相比，SAMALM能够更好地处理复杂的多机器人环境，提高系统的鲁棒性和可扩展性。两层验证机制则确保了机器人行为的社会规范性和环境适应性，避免了LLM生成不合理动作的风险。

关键设计：论文中一个关键的设计是基于熵的评分融合机制。熵值用于衡量Critic评分的不确定性，不确定性越高，说明Critic的判断越不可靠，因此在融合评分时会降低该Critic的权重。此外，论文中LLM Actor的具体prompt设计、Local Critic和Global Critic的奖励函数设计，以及重新查询的触发条件等都是重要的技术细节，但论文中未详细说明，具体实现未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAMALM框架在多机器人社交导航任务中表现出色，能够有效地平衡局部自主性和全局监督，产生符合社会规范的行为。具体性能数据和对比基线未知，但论文强调了SAMALM在不同多机器人场景下的强大适应性。项目主页提供了更多细节和视频。

🎯 应用场景

SAMALM框架可应用于各种多机器人协作场景，例如：仓库物流、智能工厂、搜救行动、以及家庭服务等。通过赋予机器人更强的社交感知能力和自主导航能力，可以实现更高效、更安全的人机协作，提高生产效率和服务质量。未来，该框架有望进一步扩展到更复杂的环境和任务中，例如：自动驾驶、城市交通管理等。

📄 摘要（原文）

Recent advances in robotics and large language models (LLMs) have sparked growing interest in human-robot collaboration and embodied intelligence. To enable the broader deployment of robots in human-populated environments, socially-aware robot navigation (SAN) has become a key research area. While deep reinforcement learning approaches that integrate human-robot interaction (HRI) with path planning have demonstrated strong benchmark performance, they often struggle to adapt to new scenarios and environments. LLMs offer a promising avenue for zero-shot navigation through commonsense inference. However, most existing LLM-based frameworks rely on centralized decision-making, lack robust verification mechanisms, and face inconsistencies in translating macro-actions into precise low-level control signals. To address these challenges, we propose SAMALM, a decentralized multi-agent LLM actor-critic framework for multi-robot social navigation. In this framework, a set of parallel LLM actors, each reflecting distinct robot personalities or configurations, directly generate control signals. These actions undergo a two-tier verification process via a global critic that evaluates group-level behaviors and individual critics that assess each robot's context. An entropy-based score fusion mechanism further enhances self-verification and re-query, improving both robustness and coordination. Experimental results confirm that SAMALM effectively balances local autonomy with global oversight, yielding socially compliant behaviors and strong adaptability across diverse multi-robot scenarios. More details and videos about this work are available at: https://sites.google.com/view/SAMALM.