Decentralized Collective World Model for Emergent Communication and Coordination
作者: Kentaro Nomura, Tatsuya Aoki, Tadahiro Taniguchi, Takato Horii
分类: cs.MA, cs.AI
发布日期: 2025-04-04 (更新: 2025-10-07)
备注: Accepted at IEEE ICDL 2025
💡 一句话要点
提出分散式集体世界模型，实现涌现通信与协同行为
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体系统 世界模型 涌现通信 协同行为 预测编码 对比学习 分散式控制
📋 核心要点
- 现有方法通常孤立地研究通信或协同，缺乏同时实现两者能力的通用框架。
- 本文提出分散式集体世界模型，结合世界模型与通信通道，通过预测编码和对比学习实现智能体间的有效信息共享。
- 实验表明，该方法在智能体感知能力差异时，能有效提升协同性能，并涌现出更具环境表征意义的符号系统。
📝 摘要（中文）
本文提出了一种完全分散的多智能体世界模型，通过集体预测编码的时间扩展，实现通信的符号涌现和协同行为。与以往侧重于通信或协同的研究不同，本文的方法同时实现了两者。该方法将世界模型与通信通道集成，使智能体能够预测环境动态，从部分观测中估计状态，并通过双向消息交换共享关键信息，同时利用对比学习进行消息对齐。在双智能体轨迹绘制任务中，实验证明，当智能体具有不同的感知能力时，基于通信的方法优于非通信模型，仅次于集中式模型的协同效果。更重要的是，这种分散式方法限制了对其他智能体内部状态的直接访问，从而促进了更具意义的符号系统的涌现，这些符号系统准确地反映了环境状态。这些发现证明了分散式通信在支持协同的同时，发展环境共享表征的有效性。
🔬 方法详解
问题定义：现有方法在多智能体协作中，通常将通信和协同作为独立的问题进行研究，缺乏一个统一的框架来同时解决这两个问题。此外，集中式方法虽然能够实现较好的协同效果，但其可扩展性和鲁棒性较差。分散式方法虽然具有更好的可扩展性，但如何有效地进行信息共享和协同仍然是一个挑战。现有分散式方法难以在保证智能体独立性的前提下，涌现出有意义的通信协议。
核心思路：本文的核心思路是将世界模型与通信通道相结合，利用集体预测编码的时间扩展，使智能体能够预测环境动态，并根据预测误差进行学习。通过双向消息交换，智能体可以共享关键信息，从而更好地估计环境状态并进行协同。对比学习用于对齐智能体之间的消息，促进符号的涌现。
技术框架：整体框架包含多个智能体，每个智能体都有自己的世界模型和通信模块。世界模型负责预测环境的未来状态，通信模块负责与其他智能体进行消息交换。智能体首先根据自己的观测更新世界模型，然后根据世界模型的预测误差生成消息，并将消息发送给其他智能体。接收到消息的智能体将消息融入到自己的世界模型中，并更新自己的状态。整个过程通过集体预测编码进行优化，目标是最小化所有智能体的预测误差。
关键创新：最重要的技术创新点在于将世界模型与通信通道集成，并利用对比学习进行消息对齐。这种方法使得智能体能够在分散的环境中学习到有效的通信协议，并实现协同行为。与现有方法相比，该方法能够同时实现通信的符号涌现和协同行为，并且具有更好的可扩展性和鲁棒性。
关键设计：消息的编码和解码采用神经网络实现。对比学习的目标是使相似状态下的消息更加接近，不同状态下的消息更加远离。损失函数包括预测误差损失和对比学习损失。网络结构采用循环神经网络（RNN）来处理时间序列数据。具体参数设置未知，可能需要根据具体任务进行调整。
🖼️ 关键图片
📊 实验亮点
在双智能体轨迹绘制任务中，该方法在智能体感知能力存在差异的情况下，其协同性能优于非通信模型，并且仅次于集中式模型。更重要的是，该分散式方法促进了更具环境表征意义的符号系统的涌现，表明了分散式通信在支持协同和发展共享表征方面的有效性。具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于机器人协同作业、自动驾驶、智能交通等领域。例如，多个机器人可以在未知环境中协同完成任务，自动驾驶车辆可以通过通信共享路况信息，提高行驶安全性。该研究还有助于理解人类语言的起源和演化，为人工智能的进一步发展提供理论基础。
📄 摘要（原文）
We propose a fully decentralized multi-agent world model that enables both symbol emergence for communication and coordinated behavior through temporal extension of collective predictive coding. Unlike previous research that focuses on either communication or coordination separately, our approach achieves both simultaneously. Our method integrates world models with communication channels, enabling agents to predict environmental dynamics, estimate states from partial observations, and share critical information through bidirectional message exchange with contrastive learning for message alignment. Using a two-agent trajectory drawing task, we demonstrate that our communication-based approach outperforms non-communicative models when agents have divergent perceptual capabilities, achieving the second-best coordination after centralized models. Importantly, our decentralized approach with constraints preventing direct access to other agents' internal states facilitates the emergence of more meaningful symbol systems that accurately reflect environmental states. These findings demonstrate the effectiveness of decentralized communication for supporting coordination while developing shared representations of the environment.