PolicyEvol-Agent: Evolving Policy via Environment Perception and Self-Awareness with Theory of Mind

📄 arXiv: 2504.15313v1 📥 PDF

作者: Yajie Yu, Yue Feng

分类: cs.AI, cs.LG

发布日期: 2025-04-20

💡 一句话要点

提出PolicyEvol-Agent，通过环境感知、自我认知和心智理论演化策略，提升多智能体博弈性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 大型语言模型 策略演化 心智理论 环境感知 自我认知 认知偏差

📋 核心要点

  1. 现有研究在具备推理、规划、决策和反思等有效认知链的智能体方面仍然有限，尤其是在动态交互场景中。
  2. PolicyEvol-Agent的核心思想是系统地获取其他智能体的意图，并自适应地优化非理性策略，从而实现策略的持续演化和提升。
  3. 实验结果表明，PolicyEvol-Agent在博弈中优于基于强化学习的模型和基于Agent的方法，证明了其策略演化机制的有效性。

📝 摘要（中文）

本文提出PolicyEvol-Agent，一个基于大型语言模型（LLM）的综合框架，旨在系统地获取他人意图并自适应地优化非理性策略，以实现持续增强。PolicyEvol-Agent首先获取反思性专业知识模式，然后结合心智理论以及内部和外部视角，整合一系列认知操作。仿真结果表明，PolicyEvol-Agent优于基于强化学习的模型和基于Agent的方法，最终赢得了博弈胜利。此外，策略演化机制揭示了动态指南调整在自动和人工评估中的有效性。

🔬 方法详解

问题定义：现有基于LLM的多智能体系统在动态交互场景中，认知链（推理、规划、决策、反思）不够完善，尤其是在心理状态感知和经验校准方面存在挑战，容易导致认知偏差。这限制了智能体在复杂博弈环境中的表现。

核心思路：PolicyEvol-Agent的核心思路是通过环境感知、自我认知和心智理论（Theory of Mind）来演化智能体的策略。通过观察其他智能体的行为，推断其意图，并结合自身的经验和反思，动态调整策略，从而在博弈中获得优势。这种策略演化机制旨在克服传统prompt-based方法的认知偏差问题。

技术框架：PolicyEvol-Agent框架主要包含以下几个阶段：1) 反思性专业知识模式获取：通过分析历史博弈数据，提取有用的经验和策略模式。2) 认知操作整合：将心智理论与内部（自我认知）和外部（环境感知）视角相结合，进行推理、规划和决策。3) 策略演化：根据其他智能体的意图和自身表现，自适应地调整策略。整个框架旨在实现智能体的持续学习和优化。

关键创新：PolicyEvol-Agent的关键创新在于其策略演化机制，该机制能够使智能体在动态博弈环境中不断学习和适应。与传统的基于固定策略或强化学习的方法不同，PolicyEvol-Agent能够根据其他智能体的行为和自身经验，动态调整策略，从而更好地应对复杂和不确定的环境。心智理论的引入使得智能体能够更好地理解其他智能体的意图，从而做出更明智的决策。

关键设计：论文中涉及的关键设计细节包括：1) 如何有效地提取反思性专业知识模式（具体方法未知）。2) 如何将心智理论与内部和外部视角相结合，进行认知操作（具体实现方式未知）。3) 如何设计策略演化算法，使其能够自适应地调整策略（具体算法细节未知）。这些细节对于理解和复现PolicyEvol-Agent至关重要，但论文摘要中并未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PolicyEvol-Agent在博弈中优于基于强化学习的模型和基于Agent的方法。具体性能数据和提升幅度在摘要中未给出，但强调了PolicyEvol-Agent在最终博弈胜利中的优越性。此外，策略演化机制在自动和人工评估中均表现出有效性，证明了动态指南调整的价值。

🎯 应用场景

PolicyEvol-Agent具有广泛的应用前景，例如在自动驾驶、智能交通、机器人协作、经济建模、军事模拟等领域。通过模拟智能体之间的交互和策略演化，可以更好地理解复杂系统的行为，并设计更有效的控制策略。该研究还有助于开发更智能、更自主的Agent，从而提高生产效率和决策质量。

📄 摘要（原文）

Multi-agents has exhibited significant intelligence in real-word simulations with Large language models (LLMs) due to the capabilities of social cognition and knowledge retrieval. However, existing research on agents equipped with effective cognition chains including reasoning, planning, decision-making and reflecting remains limited, especially in the dynamically interactive scenarios. In addition, unlike human, prompt-based responses face challenges in psychological state perception and empirical calibration during uncertain gaming process, which can inevitably lead to cognition bias. In light of above, we introduce PolicyEvol-Agent, a comprehensive LLM-empowered framework characterized by systematically acquiring intentions of others and adaptively optimizing irrational strategies for continual enhancement. Specifically, PolicyEvol-Agent first obtains reflective expertise patterns and then integrates a range of cognitive operations with Theory of Mind alongside internal and external perspectives. Simulation results, outperforming RL-based models and agent-based methods, demonstrate the superiority of PolicyEvol-Agent for final gaming victory. Moreover, the policy evolution mechanism reveals the effectiveness of dynamic guideline adjustments in both automatic and human evaluation.