Beyond Belief Nesting: Rethinking Higher-Order Theory of Mind in Large Language Models
作者: Shanshan You, Zhengqi Wang, Hao Liu, Yuqin Liu, Ya He, Xin Hao, Liyuan Wang
分类: cs.CL
发布日期: 2026-10-13
💡 一句话要点
提出HopToM与HopTrace以解决高阶心智理论评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心智理论 高阶推理 大型语言模型 HopToM HopTrace 交互代理 推理能力
📋 核心要点
- 现有的心智理论评估方法将信念嵌套深度与推理顺序混淆，导致高阶问题可能被低阶推理简化。
- 本文提出HopToM和HopTrace，前者提供经过认证的全阶问题，后者通过编码交互记录来解决嵌套查询。
- 实验结果显示，HopTrace在叙述问题上的第四和第五阶准确率分别提高了22.0和38.5个百分点，且token使用量显著减少。
📝 摘要（中文）
心智理论（ToM）是推理他人心理状态的能力，尤其在战略互动中更为复杂。现有评估方法将信念嵌套深度与推理顺序等同，导致高阶问题可能存在低阶推理的简化。本文形式化了有效顺序，通过支持连续信念前缀的不同事件揭示了现有基准的普遍顺序膨胀。我们提出了HopToM，包含经过认证的全阶问题和低阶替代的控制。在直接提示下，四种前沿大型语言模型的平均准确率从第一阶的73.5%降至第四阶的20.0%，人类参与者也面临挑战。因果干预将一类重复错误与较浅信念前缀的证据联系起来。我们还引入了HopTrace，这是一种即插即用的推理时方法，能够将每次交互编码为视角记录，并确定性地解决嵌套查询。在经过认证的叙述问题上，其第四和第五阶准确率分别提高了22.0和38.5个百分点，同时使用的token数量比多调用方法少20-39倍。这些结果提升了高阶ToM的评估标准，并为交互代理中的视角推理提供了实用改进方法。
🔬 方法详解
问题定义：本文旨在解决现有心智理论评估方法中信念嵌套深度与推理顺序混淆的问题，导致高阶问题的评估不准确。
核心思路：通过形式化有效顺序，揭示支持连续信念前缀的不同事件，从而提供更准确的高阶心智理论评估。HopToM提供经过认证的全阶问题，而HopTrace则通过编码交互记录来解决嵌套查询。
技术框架：整体架构包括HopToM和HopTrace两个主要模块。HopToM负责生成全阶问题，HopTrace则在推理时编码交互并处理嵌套查询。
关键创新：最重要的创新在于HopToM和HopTrace的结合，前者确保问题的高阶性，后者通过确定性方法解决嵌套问题，显著提升了评估的准确性。
关键设计：在HopTrace中，采用了即插即用的设计，能够在推理时高效编码交互记录，且在处理嵌套查询时使用的token数量比传统多调用方法少20-39倍。实验中使用的损失函数和参数设置经过精心设计，以确保模型的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在经过认证的叙述问题上，HopTrace的第四和第五阶准确率分别提高了22.0和38.5个百分点，且在推理过程中使用的token数量比多调用方法少20-39倍。这些结果显著提升了高阶心智理论的评估标准。
🎯 应用场景
该研究的潜在应用领域包括智能对话系统、社交机器人以及任何需要理解和推理他人心理状态的交互式代理。通过改进高阶心智理论的评估和推理能力，能够提升这些系统在复杂社交场景中的表现，增强人机交互的自然性和有效性。
📄 摘要（原文）
Theory of mind (ToM), the ability to reason about others' mental states, underlies effective communication and coordination. Its higher-order form enables reasoning over nested perspectives in strategic interactions. However, existing evaluations often equate belief-nesting depth with reasoning order, allowing nominally higher-order questions to admit lower-order shortcuts. We formalize effective order through the distinct events supporting successive belief prefixes, revealing widespread order inflation across existing benchmarks. We introduce HopToM, with certified full-order questions and controls for lower-order alternatives. Under direct prompting, mean accuracy across four frontier LLMs falls from 73.5% at first order to 20.0% at fourth order, and human participants also struggle. Causal interventions link a recurring class of errors to evidence for shallower belief prefixes. We introduce HopTrace, a plug-and-play inference-time method that encodes each interaction once into perspective records and resolves nested queries deterministically. On certified narrative questions, it improves fourth- and fifth-order accuracy by 22.0 and 38.5 percentage points over strong prompting baselines, while using 20-39 times fewer tokens than multi-call methods. These results sharpen how higher-order ToM is evaluated and offer a practical way to improve perspective reasoning in interactive agents.