DPMT: Dual Process Multi-scale Theory of Mind Framework for Real-time Human-AI Collaboration

📄 arXiv: 2507.14088v1 📥 PDF

作者: Xiyun Li, Yining Ding, Yuhua Jiang, Yunlong Zhao, Runpeng Xie, Shuang Xu, Yuanhua Ni, Yiqin Yang, Bo Xu

分类: cs.LG

发布日期: 2025-07-18

期刊: cogsci-2025

💡 一句话要点

提出DPMT框架，通过双过程多尺度心智理论提升人机实时协作

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 心智理论 双过程理论 多尺度建模 人工智能 LLM智能体 人类意图理解

📋 核心要点

  1. 现有LLM智能体在人机协作中难以准确建模人类复杂的心理特征，尤其是在缺乏直接沟通时。
  2. DPMT框架借鉴认知科学双过程理论，引入多尺度心智理论模块，实现对人类伙伴的稳健建模。
  3. 实验结果表明，DPMT显著提升了人机协作效果，消融实验验证了多尺度心智理论的有效性。

📝 摘要（中文）

实时人机协作至关重要但也充满挑战，尤其当AI智能体必须适应动态场景中各种未见的人类行为时。现有的大型语言模型（LLM）智能体通常无法准确地建模复杂的人类心理特征，例如领域意图，尤其是在缺乏直接沟通的情况下。为了解决这一局限性，我们提出了一种新颖的双过程多尺度心智理论（DPMT）框架，该框架从认知科学的双过程理论中汲取灵感。我们的DPMT框架包含一个多尺度心智理论（ToM）模块，通过心理特征推理来促进鲁棒的人类伙伴建模。实验结果表明，DPMT显著增强了人机协作，消融研究进一步验证了我们的多尺度ToM在慢速系统中的贡献。

🔬 方法详解

问题定义：论文旨在解决实时人机协作中，AI智能体难以准确理解和预测人类意图的问题。现有方法，特别是基于大型语言模型的方法，在处理动态、复杂的人类行为时，缺乏对人类心理特征的有效建模，导致协作效率低下。尤其是在缺乏直接沟通的情况下，AI难以推断人类的领域意图，从而影响协作效果。

核心思路：论文的核心思路是借鉴认知科学的双过程理论，将人类的认知过程分解为快速、直觉的“系统1”和慢速、推理的“系统2”。 论文将心智理论（ToM）融入到“系统2”中，通过多尺度的心理特征推理，使AI能够更准确地理解人类的意图和信念，从而实现更有效的协作。

技术框架：DPMT框架包含两个主要模块，分别对应双过程理论的两个系统。 “系统1”负责快速感知和响应，处理即时信息；“系统2”则负责进行更深入的推理和规划，其中包含多尺度心智理论（ToM）模块。该ToM模块通过分析人类的行为和上下文信息，推断其心理状态，并将其纳入AI的决策过程中。整体流程是：人类行为被感知后，由系统1快速响应，同时系统2利用ToM进行更深入的推理，最终指导AI的行动。

关键创新：论文的关键创新在于将多尺度心智理论融入到双过程框架中，实现了对人类心理状态的更细粒度建模。传统方法通常只关注人类的显性行为，而DPMT则能够推断人类的潜在意图和信念，从而更好地预测其行为。多尺度体现在对不同抽象层次的心理特征进行建模，例如短期目标、长期计划和潜在偏好。

关键设计：多尺度ToM模块的具体实现细节未知，摘要中没有明确说明。推测可能涉及分层推理结构，例如首先推断人类的短期目标，然后根据上下文信息推断其长期计划。损失函数的设计也未知，但可能包含鼓励AI准确预测人类行为的项，以及鼓励AI理解人类意图的项。网络结构也未知，但可能使用Transformer或其他能够处理序列数据的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DPMT框架显著提升了人机协作效果。具体的性能数据和对比基线未知，但摘要强调了DPMT在增强人机协作方面的显著效果。消融研究验证了多尺度心智理论在慢速系统中的贡献，表明该模块是提升性能的关键。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如：智能助手、自动驾驶、协同机器人、教育辅导系统等。通过更准确地理解人类意图，AI可以更好地辅助人类完成任务，提高工作效率和用户体验。未来，该研究有望推动人机协作向更智能、更自然的方向发展，实现真正的人工智能助手。

📄 摘要（原文）

Real-time human-artificial intelligence (AI) collaboration is crucial yet challenging, especially when AI agents must adapt to diverse and unseen human behaviors in dynamic scenarios. Existing large language model (LLM) agents often fail to accurately model the complex human mental characteristics such as domain intentions, especially in the absence of direct communication. To address this limitation, we propose a novel dual process multi-scale theory of mind (DPMT) framework, drawing inspiration from cognitive science dual process theory. Our DPMT framework incorporates a multi-scale theory of mind (ToM) module to facilitate robust human partner modeling through mental characteristic reasoning. Experimental results demonstrate that DPMT significantly enhances human-AI collaboration, and ablation studies further validate the contributions of our multi-scale ToM in the slow system.