MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Cultural Learning

📄 arXiv: 2411.12977v6 📥 PDF

作者: Mircea Lică, Ojas Shirekar, Baptiste Colle, Chirag Raman

分类: cs.AI, cs.CL

发布日期: 2024-11-20 (更新: 2025-12-16)

备注: Accepted to NeurIPS 2025 main track as poster

💡 一句话要点

MindForge：赋予具身智能体心智理论，实现终身文化学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能体 心智理论 文化学习 多智能体协作 大型语言模型 Minecraft 知识迁移

📋 核心要点

  1. 现有基于大型语言模型（LLM）的具身智能体在开放世界中仍面临挑战，尤其是在领域特定微调后，开源LLM在基础任务上表现不佳。
  2. MindForge通过显式视角采择，构建结构化的心智理论表示，并引入自然智能体间通信和多组件记忆系统，实现文化终身学习。
  3. 实验表明，MindForge智能体在Minecraft中显著优于Voyager，在指导和协作环境中均表现出更强的任务完成能力和知识迁移能力。

📝 摘要（中文）

本文提出MindForge，一个生成式智能体框架，通过显式的视角采择实现文化终身学习，旨在提升具身智能体在Minecraft等开放世界中的能力。该框架包含三个关键创新：(1)连接感知、信念、欲望和行动的结构化心智理论表示；(2)自然的智能体间通信；(3)多组件记忆系统。在文化学习框架下，MindForge在Minecraft的指导和协作环境中进行了测试。在GPT-4的指导环境中，由开源LLM驱动的MindForge智能体在基本任务上显著优于Voyager，技术树里程碑数量是Voyager的3倍，收集的独特物品数量是Voyager的2.3倍。此外，在完全协作环境中，两个表现不佳的智能体的性能随着通信轮数的增加而提高，与孔多塞陪审团定理相呼应。MindForge智能体展示了复杂的行为，包括专家-新手知识转移、协作问题解决以及通过积累的文化经验适应超出分布的任务。

🔬 方法详解

问题定义：现有基于LLM的具身智能体，如Voyager，在开放世界环境（如Minecraft）中进行领域特定微调后，使用开源LLM时仍然难以完成一些基础任务。这表明现有方法在利用LLM进行文化学习和知识迁移方面存在不足，无法有效模拟人类的认知过程，例如理解其他智能体的意图和信念。

核心思路：MindForge的核心思路是通过赋予智能体“心智理论”（Theory of Mind, ToM），使其能够理解其他智能体的信念、欲望和意图，从而更好地进行协作、学习和适应新环境。通过显式地建模智能体的认知状态，并利用自然语言进行智能体间通信，MindForge旨在模拟人类的文化学习过程。

技术框架：MindForge框架包含三个主要组件：1) 结构化心智理论表示：用于表示智能体的感知、信念、欲望和行动之间的关系。2) 自然智能体间通信：允许智能体使用自然语言进行交流，分享知识和协调行动。3) 多组件记忆系统：用于存储和检索智能体的经验，包括观察、交互和推理结果。智能体通过感知环境，更新其心智理论表示，并根据其欲望和信念选择行动。智能体之间可以通过通信分享信息，从而实现知识转移和协作。

关键创新：MindForge的关键创新在于将显式的心智理论表示融入到具身智能体中，使其能够模拟其他智能体的认知状态。与以往的方法相比，MindForge更加注重智能体之间的交互和知识共享，从而实现更有效的文化学习。此外，MindForge的多组件记忆系统能够存储和检索智能体的经验，使其能够适应新的环境和任务。

关键设计：MindForge使用LLM作为其核心推理引擎，并使用自然语言进行智能体间通信。心智理论表示采用结构化的形式，包括感知、信念、欲望和行动等组件。记忆系统包含多个组件，例如情景记忆、语义记忆和程序记忆。具体的参数设置和网络结构取决于所使用的LLM和具体的任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MindForge在Minecraft环境中的实验结果表明，其性能显著优于Voyager等基线方法。在指导环境中，MindForge智能体获得的技术树里程碑数量是Voyager的3倍，收集的独特物品数量是Voyager的2.3倍。在协作环境中，两个表现不佳的智能体通过增加通信轮数，性能得到了显著提升。这些结果表明，MindForge能够有效地利用心智理论进行文化学习和知识迁移。

🎯 应用场景

MindForge的研究成果可应用于多个领域，例如：多智能体协作机器人、教育游戏、虚拟助手等。通过赋予智能体心智理论，可以使其更好地理解人类的需求和意图，从而实现更自然、更有效的交互。此外，MindForge的文化学习框架可以用于训练智能体适应新的环境和任务，从而提高其通用性和鲁棒性。未来，该技术有望在智能制造、医疗保健等领域发挥重要作用。

📄 摘要（原文）

Embodied agents powered by large language models (LLMs), such as Voyager, promise open-ended competence in worlds such as Minecraft. However, when powered by open-weight LLMs they still falter on elementary tasks after domain-specific fine-tuning. We propose MindForge, a generative-agent framework for cultural lifelong learning through explicit perspective taking. We introduce three key innovations: (1) a structured theory of mind representation linking percepts, beliefs, desires, and actions; (2) natural inter-agent communication; and (3) a multi-component memory system. Following the cultural learning framework, we test MindForge in both instructive and collaborative settings within Minecraft. In an instructive setting with GPT-4, MindForge agents powered by open-weight LLMs significantly outperform their Voyager counterparts in basic tasks yielding $3\times$ more tech-tree milestones and collecting $2.3\times$ more unique items than the Voyager baseline. Furthermore, in fully \textit{collaborative} settings, we find that the performance of two underachieving agents improves with more communication rounds, echoing the Condorcet Jury Theorem. MindForge agents demonstrate sophisticated behaviors, including expert-novice knowledge transfer, collaborative problem solving, and adaptation to out-of-distribution tasks through accumulated cultural experiences.