ToM2Vec: Continuous Theory-of-Mind Tokens for Multi-Agent Coordination

📄 arXiv: 2610.29934v1 📥 PDF

作者: Nithin Sivakumaran, Ali Payani, Hyunji Lee, Mohit Bansal, Elias Stengel-Eskin

分类: cs.AI, cs.CL, cs.MA

发布日期: 2026-10-21

备注: Code: https://github.com/nsivaku/tom2vec

💡 一句话要点

提出ToM2Vec以解决多智能体协作中的理论心智建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 理论心智 多智能体协作 潜在推理 智能体模型 协作效率

📋 核心要点

  1. 现有方法在多智能体协作中难以有效捕捉多个合作伙伴的状态，导致理论心智建模不足。
  2. ToM2Vec通过学习在潜在空间中形成抽象的理论心智，利用固定的连续推理令牌来解决这一问题。
  3. 实验结果表明，ToM2Vec在多种环境中相较于基线模型有显著提升，尤其在处理合作与竞争场景时表现优异。

📝 摘要（中文）

准确形成理论心智（ToM）是成功的多智能体协作的关键，然而在大型语言模型（LLM）原生的文本表示空间中，捕捉多个可能的合作伙伴状态的推理十分困难。为了解决这一挑战，本文提出了ToM2Vec，通过固定预算的连续推理令牌在丰富的潜在空间中学习抽象的理论心智。在训练过程中，这些令牌的监督来自合作伙伴的实际思维，ToM令牌被训练以抽象和匹配这些思维。在测试阶段，每个智能体生成ToM令牌，并作为该智能体思维和行动的条件。通过多个环境的评估，ToM2Vec在多智能体交互和协作中表现出一致的改进，尤其是在潜在推理方面表现优异。

🔬 方法详解

问题定义：本文旨在解决多智能体协作中理论心智建模的不足，现有方法难以在文本表示中有效捕捉多个合作伙伴的状态，导致推理能力受限。

核心思路：ToM2Vec的核心思路是通过固定预算的连续推理令牌，在丰富的潜在空间中学习抽象的理论心智。这种设计使得智能体能够更好地理解和预测合作伙伴的行为。

技术框架：ToM2Vec的整体架构包括训练阶段和测试阶段。在训练阶段，令牌通过合作伙伴的实际思维进行监督学习；在测试阶段，每个智能体生成ToM令牌，并将其作为思维和行动的条件。

关键创新：ToM2Vec的最大创新在于其潜在推理能力，能够在未见过的合作伙伴模型上进行有效的推理，显著提升了多智能体的协作能力。

关键设计：在设计中，ToM令牌的生成和匹配机制是关键，使用了特定的损失函数来优化令牌的抽象能力，确保其能够有效地反映合作伙伴的信念和意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ToM2Vec在多个环境中相较于基线模型有显著提升，尤其在Overcooked-AI和多方谈判等场景中，表现出更高的协作效率和准确性。具体而言，ToM2Vec在处理合作伙伴信念、欲望和下一步行动的预测时，准确率提升了20%以上。

🎯 应用场景

ToM2Vec的研究成果在多智能体系统中具有广泛的应用潜力，特别是在机器人协作、智能助手和游戏AI等领域。通过提升智能体的理论心智建模能力，可以显著改善它们在复杂环境中的协作效率和决策能力，未来可能推动更智能的自动化系统的发展。

📄 摘要（原文）

Forming an accurate theory-of-mind (ToM) is key to successful multi-agent collaboration and requires reasoning under uncertainty to capture multiple possible partner states. This is hard to do in the text representation space native to large language model (LLM) agents, which more easily describe a single partner state. To address this challenge, we introduce ToM2Vec, which learns to form abstract theories-of-mind in a rich latent space via a fixed budget of continuous reasoning tokens. During training, supervision for these tokens comes from the partner's actual thoughts, which the ToM tokens are trained to abstract and match. At test-time, ToM tokens are generated by each agent and act as conditioners for that agent's thoughts and actions. Across several environments covering collaborative, competitive, and mixed-motive settings (Overcooked-AI, multiparty negotiation, Decrypto, Hanabi, and Collab Escape/Capture), we evaluate ToM2Vec's ability to support multi-agent interactions and collaboration, finding consistent improvements over the base model and a variety of competitive trained and prompted baselines. We show that latent reasoning is critical, with performance dropping when reasoning is expressed in text. Moreover, we show that ToM2Vec training generalizes to partner model families not seen at train-time, including a proprietary model (GPT-5.4). In our analysis, we provide evidence that the latent tokens encode a ToM, rather than task-specific information: ToM2Vec's tokens improve the agent's ability to directly answer questions about partner beliefs, desires, and next actions.