Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior
作者: Hanbo Xie, Akshay K. Jagadish, Lan Pan, Robert C. Wilson
分类: q-bio.NC, cs.AI
发布日期: 2026-05-06
💡 一句话要点
利用“思考发声”重塑自动认知模型发现，超越行为数据本身
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 认知建模 思考发声 自动模型发现 风险决策 行为数据 语言模型 贝叶斯优化
📋 核心要点
- 现有计算认知模型发现方法过度依赖行为数据，导致模型不确定性。
- 该研究提出将“思考发声”记录作为额外约束，辅助自动认知模型发现。
- 实验表明，新方法显著提升了风险决策模型预测性能，并改变了模型结构。
📝 摘要（中文）
目前，使用大型语言模型发现的计算认知模型仅依赖于行为数据。然而，众所周知，仅从行为轨迹产生的模型通常是不确定的。本文探讨了使用“思考发声”记录作为自动模型发现过程中的一种额外数据约束形式。当应用于风险决策领域时，我们发现使用“思考发声”发现的模型在保留数据上实现了显著提高的预测性能。此外，我们发现对于大多数参与者（69.4%），发现的模型属于与仅从行为中发现的模型不同的结构类别，具体而言，它从显式比较器转向集成效用。这些结果表明，过程级别的语言数据不仅提高了模型拟合度，而且系统地重塑了发现的认知模型的结构，从而能够识别仅从行为中无法恢复的机制。
🔬 方法详解
问题定义：现有计算认知模型发现方法主要依赖行为数据，例如决策结果、反应时间等。然而，仅凭行为数据构建的模型往往存在不确定性，即多个不同的模型可能都能很好地拟合相同的行为数据。这使得我们难以准确地推断人类真实的认知过程，也限制了模型在预测和干预方面的能力。
核心思路：该论文的核心思路是将“思考发声”（Think Aloud）数据作为一种额外的约束引入到自动认知模型发现过程中。“思考发声”是指在进行决策或解决问题时，个体口头表达自己的思考过程。这种数据包含了更丰富的过程信息，可以帮助我们更好地理解个体的认知机制。通过结合行为数据和“思考发声”数据，可以缩小模型搜索空间，提高模型的可解释性和预测能力。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 收集参与者在风险决策任务中的行为数据（例如，选择的选项）和“思考发声”数据（例如，口头描述的思考过程）；2) 使用自然语言处理技术对“思考发声”数据进行处理，提取关键信息，例如，使用的策略、考虑的因素等；3) 将提取的信息作为约束条件，用于指导自动认知模型发现过程；4) 使用贝叶斯优化等方法搜索最优的模型参数，并评估模型在保留数据上的预测性能。
关键创新：该研究的关键创新在于将“思考发声”数据引入到自动认知模型发现过程中。与传统的仅依赖行为数据的方法相比，该方法能够利用更丰富的过程信息，从而发现更准确、更可解释的认知模型。此外，该研究还发现，“思考发声”数据不仅提高了模型拟合度，而且系统地改变了发现的认知模型的结构，使其更接近人类真实的认知过程。
关键设计：在实验设计方面，研究者选择了风险决策任务，并要求参与者在进行决策时进行“思考发声”。在数据处理方面，研究者使用了自然语言处理技术，例如，词袋模型、主题模型等，对“思考发声”数据进行处理，提取关键信息。在模型搜索方面，研究者使用了贝叶斯优化等方法，以高效地搜索最优的模型参数。具体使用的损失函数和网络结构未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用“思考发声”数据发现的模型在保留数据上的预测性能显著提高。此外，研究发现，对于69.4%的参与者，使用“思考发声”数据发现的模型属于与仅从行为中发现的模型不同的结构类别，具体而言，它从显式比较器转向集成效用。这表明，“思考发声”数据能够帮助我们发现仅从行为中无法恢复的认知机制。
🎯 应用场景
该研究成果可应用于认知建模、人机交互、教育心理学等领域。例如，可以利用该方法构建更准确的个性化学习模型，从而为学生提供更有效的学习指导。此外，该方法还可以用于设计更自然、更智能的人机交互界面，提高用户体验。未来，该方法有望应用于更广泛的认知科学研究，帮助我们更深入地理解人类的认知过程。
📄 摘要（原文）
Computational cognitive models discovered using large language models have so far relied solely on behavioral data. However, it is well-known that models produced from the behavioral trajectory alone are typically under-determined. In this work, we explore the use of Think Aloud traces as an additional form of data constraint during automated model discovery. When applied to the domain of risky decision-making, we find that the models discovered with think-aloud achieve significantly improved predictive performance on held-out data. Additionally, we find that the discovered models belong to different structural classes than those discovered from behavior alone for the majority of participants (69.4\%), specifically, it shifts from Explicit comparator towards Integrated utility. These results suggest that process-level language data not only improve model fit, but also systematically reshape the structure of the discovered cognitive models, enabling the identification of mechanisms that are not recoverable from behavior alone.