Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind

📄 arXiv: 2602.13832v1 📥 PDF

作者: Minyuan Ruan, Ziyue Wang, Kaiming Liu, Yunghwei Lai, Peng Li, Yang Liu

分类: cs.CL

发布日期: 2026-02-14

💡 一句话要点

提出基准测试与强化学习方法，提升LLM在用户交互中理解和解决认知差异的能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论 人机交互 认知差异 大型语言模型 强化学习 基准测试 信念跟踪

📋 核心要点

  1. 现有LLM在用户交互中难以准确理解用户意图，导致用户信念与环境状态的认知差异，阻碍任务成功。
  2. 论文将ToM形式化为认知差异检测和解决机制，并构建基准测试评估模型在实际交互中协调用户信念的能力。
  3. 通过构建轨迹数据集并使用强化学习训练模型，显著提升了LLM推理用户心理状态的能力，改善下游任务性能。

📝 摘要（中文）

大型语言模型（LLM）发展迅速，被广泛应用于通用和专业任务以辅助人类用户。然而，当意图和指令表达不精确时，LLM仍然难以理解和响应用户的真实需求，导致主观用户信念与真实环境状态之间出现差异。解决这种认知差异需要心智理论（ToM），但现有的LLM的ToM评估主要集中在孤立的信念推断上，忽略了其在真实交互中的功能效用。为此，我们将LLM的ToM形式化为认知差异检测和解决的机制，并提出了一个基准测试enchname，以评估模型如何在实践中协调用户信念和个人资料。对11个领先模型的结果表明，模型在识别阻碍任务成功的潜在认知差距方面存在显著局限性。为了弥合这一差距，我们进一步整理了一个基于轨迹的ToM数据集，将信念跟踪与任务相关的状态推断联系起来。通过强化学习在该数据上训练的模型在推理用户心理状态方面表现出持续的改进，从而提高了下游性能。我们的工作强调了ToM作为一种重要的交互层面机制而非独立的推理技能的实际价值。

🔬 方法详解

问题定义：论文旨在解决LLM在人机交互中，由于用户表达不清晰或不完整，导致LLM无法准确理解用户真实意图和需求，从而产生认知差异的问题。现有方法主要关注孤立的信念推断，缺乏对ToM在实际交互场景中功能效用的评估，也缺乏有效的方法来弥合这种认知差异。

核心思路：论文的核心思路是将ToM应用于LLM，使其能够检测和解决用户信念与环境状态之间的认知差异。通过构建一个基准测试来评估LLM在实际交互中协调用户信念和个人资料的能力，并利用强化学习训练LLM，使其能够更好地推理用户心理状态，从而提高下游任务的性能。

技术框架：整体框架包含以下几个主要部分：1) 定义认知差异检测和解决的ToM机制；2) 构建基准测试enchname，用于评估LLM在实际交互中协调用户信念的能力；3) 构建基于轨迹的ToM数据集，将信念跟踪与任务相关的状态推断联系起来；4) 使用强化学习在该数据集上训练LLM；5) 在下游任务中评估训练后的LLM的性能。

关键创新：论文的关键创新在于：1) 将ToM形式化为认知差异检测和解决的机制，并将其应用于LLM；2) 构建了一个新的基准测试enchname，用于评估LLM在实际交互中协调用户信念的能力；3) 构建了一个基于轨迹的ToM数据集，将信念跟踪与任务相关的状态推断联系起来；4) 使用强化学习训练LLM，使其能够更好地推理用户心理状态。

关键设计：论文的关键设计包括：1) 基准测试enchname的设计，需要考虑如何模拟真实的人机交互场景，并设计合适的评估指标；2) 基于轨迹的ToM数据集的设计，需要考虑如何收集和标注数据，以及如何将信念跟踪与任务相关的状态推断联系起来；3) 强化学习算法的设计，需要选择合适的奖励函数和策略优化方法，以使LLM能够更好地推理用户心理状态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLM在识别阻碍任务成功的潜在认知差距方面存在显著局限性。通过在基于轨迹的ToM数据集上使用强化学习训练模型，显著提升了LLM推理用户心理状态的能力，从而提高了下游任务的性能。具体提升幅度未知，论文中未给出明确的数值。

🎯 应用场景

该研究成果可应用于各种人机交互场景，例如智能助手、对话系统、游戏AI等。通过提升LLM理解和解决认知差异的能力，可以提高用户满意度、任务完成效率和系统整体性能。未来，该研究可以进一步扩展到更复杂的交互场景，例如多方对话、协作任务等。

📄 摘要（原文）

Large Language Models (LLMs) have developed rapidly and are widely applied to both general-purpose and professional tasks to assist human users. However, they still struggle to comprehend and respond to the true user needs when intentions and instructions are imprecisely conveyed, leading to a divergence between subjective user believes and true environment states. Resolving this epistemic divergence requires Theory of Mind (ToM), yet existing ToM evaluations for LLMs primarily focus on isolated belief inference, overlooking its functional utility in real-world interaction. To this end, we formalize ToM for LLMs as a mechanism for epistemic divergence detection and resolution, and propose a benchmark, \benchname, to assess how models reconcile user beliefs and profiles in practice. Results across 11 leading models reveal a significant limitation to identify underlying cognitive gaps that impede task success. To bridge this gap, we further curate a trajectory-based ToM dataset linking belief tracking with task-related state inference. The model trained on this data via reinforcement learning shows consistent improvement in reasoning about user mental states, leading to enhanced downstream performance. Our work highlights the practical value of ToM as an essential interaction-level mechanism rather than as a standalone reasoning skill.