Jev-ToM: Evaluating Theory of Mind in Typed Decision Models

📄 arXiv: 2610.18610v1 📥 PDF

作者: Kawai Chung, Chunkit Chan, Yuxuan Liu, Yauwai Yim, Xi Yang, Wenbin Hu, Huihao Jing, Chiu Yeung Tang, Changxuan Fan, Ki Sen Hung, Tsun On Kwok, Haoran Li

分类: cs.CL, cs.AI

发布日期: 2026-10-13

备注: Code and evaluation materials: https://github.com/HKUST-KnowComp/Jev-ToM

💡 一句话要点

提出Jev-ToM以优化理论心智模型的选择过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 理论心智 决策模型 对话系统 智能助手 多轮对话 模型评估 类型安全

📋 核心要点

  1. 现有的生成大语言模型在理论心智（ToM）选择中存在效率低下和成本高的问题。
  2. Jev-ToM通过比较多种typed decision models，提供了一种更高效的ToM选择方法，旨在提高准确性和降低成本。
  3. 实验结果显示，TypeSafe Jev在源平衡准确率上达到了73.2%，在多项能力评估中表现优异，显示出显著的性能提升。

📝 摘要（中文）

对话和协作助手需要不断判断合作伙伴的知识、信念或意图。Typed decision models为有限的理论心智（ToM）选择提供了一种潜在的替代方案。本文提出了Jev-ToM，比较了五种typed decision models和七种生成基线模型在来自九个ToM基准的11,117个英文文本问题上的表现。TypeSafe Jev在包括本地控制的源平衡准确率上达到了73.2%，并在所有六个能力组中排名第一或第二，尤其在信念、目标/欲望/意图和情感方面表现突出。其他typed模型在不同任务中展现出独特的优势。研究结果表明，Jev可以降低重复ToM选择的成本和等待时间，并激励将其作为助手中的ToM选择组件进行测试。

🔬 方法详解

问题定义：本文旨在解决现有生成模型在理论心智选择中的效率和成本问题，尤其是在多轮对话和协作任务中。现有方法往往需要大量计算资源，导致响应时间长。

核心思路：Jev-ToM通过引入typed decision models，提供了一种结构化的选择机制，能够在保持准确性的同时降低计算成本。此方法通过类型安全性提高了模型的选择效率。

技术框架：Jev-ToM的整体架构包括数据输入、模型选择、输出生成和反馈机制。首先，输入文本问题被分类，然后通过不同的typed decision models进行处理，最后生成相应的输出并进行验证。

关键创新：Jev-ToM的主要创新在于其类型安全性设计，使得模型在处理不同类型的ToM任务时能够保持高效和准确。这与传统的生成模型形成鲜明对比，后者往往缺乏这种结构化的选择机制。

关键设计：在模型设计中，Jev-ToM采用了多种typed decision models，并通过源平衡准确率进行评估。关键参数包括模型的类型定义、选择策略和输出验证机制，这些设计确保了模型在不同任务中的适应性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，TypeSafe Jev在源平衡准确率上达到了73.2%，在所有六个能力组中排名第一或第二，尤其在信念、目标/欲望/意图和情感方面表现突出。这表明Jev-ToM在理论心智选择中具有显著的性能优势。

🎯 应用场景

Jev-ToM的研究成果在对话系统、智能助手和协作机器人等领域具有广泛的应用潜力。通过优化理论心智选择过程，Jev-ToM能够提高人机交互的自然性和效率，未来可能在教育、医疗和客户服务等多个行业中发挥重要作用。

📄 摘要（原文）

Dialogue and collaborative assistants repeatedly judge what a partner knows, believes, or intends. Typed decision models offer a potential alternative to generative large language models for bounded Theory of Mind (ToM) selection. We present Jev-ToM, comparing five typed decision models and seven generative baselines on 11,117 English text questions from nine ToM benchmarks across six capability groups. TypeSafe Jev reaches 73.2% source-balanced accuracy including native controls and ranks first or second across all six capabilities, leading beliefs, goals/desires/intentions, and emotions. Other typed models show distinct strengths across tasks. Separate resource comparisons suggest that Jev could reduce the cost and waiting time of repeated ToM selection. Confidence-based selection remains benchmark-dependent, and supplied reasons can repair errors or overturn correct answers depending on their attachment. Candidate expansion reveals distinct selection and output-validity problems. Related-question cues account for most of Jev's downstream gains, with task-dependent effects from predicted states. The findings motivate testing Jev as a ToM selection component in assistants, with task-specific confidence calibration, candidate design, and output validation as integration priorities.