Understanding Epistemic Language with a Language-augmented Bayesian Theory of Mind

📄 arXiv: 2408.12022v2 📥 PDF

作者: Lance Ying, Tan Zhi-Xuan, Lionel Wong, Vikash Mansinghka, Joshua B. Tenenbaum

分类: cs.CL, cs.AI

发布日期: 2024-08-21 (更新: 2025-04-18)

备注: 23 pages; Published at the Transactions of the Association for Computational Linguistics (TACL); Presented at NAACL 2025

💡 一句话要点

提出LaBToM模型，通过语言增强的贝叶斯心智理论理解认知语言。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知语言理解 贝叶斯心智理论 语言模型 认知建模 人机交互

📋 核心要点

  1. 现有方法难以直接观察和评估他人信念，对认知语言的理解存在挑战。
  2. LaBToM模型将自然语言翻译为“思维语言”，并结合贝叶斯推断评估认知主张的合理性。
  3. 实验表明，LaBToM模型在理解情态语言、不确定性表达等方面与人类判断高度相关。

📝 摘要（中文）

本文提出了一种认知模型，用于理解认知语言的解释，该模型基于对其他智能体的目标、信念和意图的贝叶斯推断：一种语言增强的贝叶斯心智理论（LaBToM）。通过将自然语言翻译成一种认知“思维语言”，并使用语法约束的LLM解码，然后根据反转理性行为和感知的生成模型所产生的推断来评估这些翻译，LaBToM能够捕捉到认知主张的渐变合理性判断。我们在一个实验中验证了我们的模型，参与者观看一个智能体在迷宫中导航，找到隐藏在盒子里的钥匙以达到他们的目标，然后对关于智能体信念的句子进行评分。与多模态LLM（GPT-4o、Gemini Pro）和消融模型相比，我们的模型与人类对各种表达方式的判断高度相关，包括情态语言、不确定性表达、知识主张、可能性比较和错误信念的归因。

🔬 方法详解

问题定义：论文旨在解决如何理解和评估关于他人信念的陈述，即使这些信念无法直接观察。现有方法在处理认知语言，特别是涉及不确定性、可能性和错误信念的表达时，存在不足，难以准确捕捉人类的直觉判断。

核心思路：论文的核心思路是将自然语言理解问题转化为一个贝叶斯推理问题。通过构建一个生成模型，模拟智能体的理性行为和感知过程，然后反过来利用贝叶斯推断来理解观察者对智能体信念的陈述。这种方法的核心在于将语言理解与对智能体行为的认知建模相结合。

技术框架：LaBToM模型包含以下主要模块：1) 自然语言到“思维语言”的翻译模块，使用LLM解码，并施加语法约束；2) 基于贝叶斯推断的心智理论模块，该模块包含一个生成模型，用于模拟智能体的行为和感知；3) 评估模块，用于将翻译后的“思维语言”与贝叶斯推断的结果进行比较，从而评估认知主张的合理性。整体流程是：输入自然语言陈述，翻译成“思维语言”，通过贝叶斯心智理论进行推理，最后评估陈述的合理性。

关键创新：该论文的关键创新在于将语言理解与贝叶斯心智理论相结合，构建了一个统一的认知模型。通过将自然语言翻译成一种形式化的“思维语言”，并利用贝叶斯推断来模拟人类的认知过程，该模型能够更准确地理解认知语言的含义。与传统的基于规则或统计的语言模型相比，LaBToM模型更具有认知合理性。

关键设计：在自然语言翻译模块中，使用了语法约束的LLM解码，以确保翻译后的“思维语言”符合逻辑和语义规则。在贝叶斯心智理论模块中，需要精心设计生成模型的结构和参数，以准确模拟智能体的行为和感知过程。评估模块则需要定义合适的损失函数，以衡量翻译后的“思维语言”与贝叶斯推断结果之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LaBToM模型在理解各种认知语言表达方面与人类判断高度相关，包括情态语言、不确定性表达、知识主张、可能性比较和错误信念的归因。与多模态LLM（GPT-4o、Gemini Pro）和消融模型相比，LaBToM模型在多个指标上都取得了显著的提升，表明其在认知语言理解方面具有优越的性能。

🎯 应用场景

该研究成果可应用于人机交互、智能体设计、教育评估等领域。例如，可以帮助机器更好地理解人类的意图和信念，从而实现更自然、更有效的交互。此外，该模型还可以用于评估学生的认知能力，例如理解他人信念的能力。

📄 摘要（原文）

How do people understand and evaluate claims about others' beliefs, even though these beliefs cannot be directly observed? In this paper, we introduce a cognitive model of epistemic language interpretation, grounded in Bayesian inferences about other agents' goals, beliefs, and intentions: a language-augmented Bayesian theory-of-mind (LaBToM). By translating natural language into an epistemic ``language-of-thought'' with grammar-constrained LLM decoding, then evaluating these translations against the inferences produced by inverting a generative model of rational action and perception, LaBToM captures graded plausibility judgments of epistemic claims. We validate our model in an experiment where participants watch an agent navigate a maze to find keys hidden in boxes needed to reach their goal, then rate sentences about the agent's beliefs. In contrast with multimodal LLMs (GPT-4o, Gemini Pro) and ablated models, our model correlates highly with human judgments for a wide range of expressions, including modal language, uncertainty expressions, knowledge claims, likelihood comparisons, and attributions of false belief.