Enhancing Conversational Agents with Theory of Mind: Aligning Beliefs, Desires, and Intentions for Human-Like Interaction

📄 arXiv: 2502.14171v5 📥 PDF

作者: Mehdi Jafari, Devin Yuncheng Hua, Hao Xue, Flora Salim

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-05-20)

备注: Accepted to Findings of ACL 2025

💡 一句话要点

利用心智理论增强对话Agent，对齐信念、欲望和意图以实现类人交互

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论 对话Agent 大型语言模型 LLaMA 人机交互 信念 欲望 意图

📋 核心要点

  1. 现有对话Agent在理解和应用心智理论（ToM）方面存在不足，导致无法进行自然和符合人类直觉的交互。
  2. 该研究通过显式地操纵LLM中的信念、欲望和意图等ToM相关组件，来增强LLM在对话中的ToM推理能力。
  3. 实验结果表明，结合ToM信息对齐能够显著提高LLM生成响应的质量，胜率分别达到67%和63%（针对3B和8B模型）。

📝 摘要（中文）

由大型语言模型（LLM）驱动的、与智能人工智能（AI）的自然语言交互预计将在不久的将来仍然是主导范式。虽然人类本能地将他们的交流与心理状态对齐——这种能力被称为心智理论（ToM），但目前基于LLM的系统在这方面表现出明显的局限性。本研究考察了开源语言模型（LLaMA）在多大程度上能够捕获和保持与ToM相关的信息，以及它在生成的响应中对一致的ToM推理的贡献程度。我们进一步研究了对ToM相关组件（如信念、欲望和意图）的显式操作是否可以增强响应对齐。对两个LLaMA 3变体的实验表明，结合ToM信息对齐可以提高响应质量，3B和8B模型的胜率分别为67%和63%。这些发现突出了ToM驱动策略在改进基于LLM的对话Agent中的对齐方面的潜力。

🔬 方法详解

问题定义：论文旨在解决现有大型语言模型（LLM）在对话系统中缺乏有效的心智理论（ToM）能力的问题。现有的LLM驱动的对话Agent难以理解和模拟人类的信念、欲望和意图，导致对话不自然、不连贯，无法进行深入的交流。

核心思路：论文的核心思路是通过显式地将ToM相关的信息（如信念、欲望和意图）融入到LLM的推理过程中，从而增强LLM的ToM能力。通过对这些关键组件的操纵，使LLM能够更好地理解对话参与者的心理状态，并生成更符合人类直觉的响应。

技术框架：论文没有明确描述一个具体的整体架构或流程图，但其核心在于对LLM的输入进行改造，使其包含ToM相关的信息。可以理解为在prompt工程中，加入了对信念、欲望和意图的描述，从而引导LLM进行ToM推理。主要模块包括：1) ToM信息提取/构建模块（如何获取或生成信念、欲望和意图的信息，具体方法未知）；2) LLM推理模块（使用LLaMA 3进行对话生成）；3) 评估模块（评估生成响应的质量和ToM一致性）。

关键创新：该研究的关键创新在于强调了在LLM驱动的对话系统中显式地融入ToM信息的重要性。与以往隐式地依赖LLM自身学习ToM能力的方法不同，该研究通过显式地操纵信念、欲望和意图等ToM组件，来增强LLM的ToM推理能力。这种方法更直接、更可控，并且能够取得更好的效果。

关键设计：论文中没有详细描述关键的参数设置、损失函数或网络结构等技术细节。主要的技术细节在于如何将ToM信息有效地融入到LLM的输入中，以及如何评估生成响应的ToM一致性。具体实现方法未知，可能涉及到prompt工程、知识图谱等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过结合ToM信息对齐，LLaMA 3模型的响应质量得到了显著提高。3B和8B模型的胜率分别达到了67%和63%，这意味着在与基线模型的对比中，ToM增强的模型在生成更符合人类直觉和更连贯的对话方面表现更佳。这些数据有力地证明了ToM驱动策略在改进LLM对话Agent中的有效性。

🎯 应用场景

该研究成果可应用于各种需要人机自然交互的场景，如智能客服、虚拟助手、教育机器人、心理咨询等。通过提升对话Agent的心智理论能力，可以使其更好地理解用户的需求和意图，提供更个性化、更有效的服务，从而提升用户体验和满意度。未来，该技术有望应用于更复杂的社交场景，例如人际关系调解、团队协作等。

📄 摘要（原文）

Natural language interaction with agentic Artificial Intelligence (AI), driven by Large Language Models (LLMs), is expected to remain a dominant paradigm in the near future. While humans instinctively align their communication with mental states -- an ability known as Theory of Mind (ToM), current LLM powered systems exhibit significant limitations in this regard. This study examines the extent to which open source language models (LLaMA) can capture and preserve ToM related information and how effectively it contributes to consistent ToM reasoning in generated responses. We further investigate whether explicit manipulation of ToM related components, such as beliefs, desires, and intentions, can enhance response alignment. Experiments on two LLaMA 3 variants demonstrate that incorporating ToM informed alignment improves response quality, achieving win rates of 67 and 63 percent for the 3B and 8B models, respectively. These findings highlight the potential of ToM driven strategies to improve alignment in LLM based conversational agents.