Cognitive Twins: Investigating Personalized Thinking Model Building and Its Performance Enhancement with Human-in-the-Loop

📄 arXiv: 2605.04761v1 📥 PDF

作者: Wu-Yuin Hwang, Nur Alif Ilyasa, Muhammad Irfan Luthfi, Yuniar Indrihapsari

分类: cs.LG, cs.AI, cs.HC

发布日期: 2026-05-06

备注: 40 pages, 5 figures, 20 tables, 1 algorithm, 10 listings

💡 一句话要点

提出个性化思维模型PTM，结合人机协作提升AI教育支持效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化学习 思维模型 认知双胞胎 AI教育 人机协作

📋 核心要点

  1. 现有AI教育支持缺乏对学习者个性化思维模型的深入理解和有效建模。
  2. 论文提出PTM模型，通过多层结构捕捉学习者的行为、认知和价值观，构建个性化认知双胞胎。
  3. 实验表明，PTM具有可接受的保真度，用户认可其能反映自身思维，且语义抽象符合预期。

📝 摘要（中文）

本文提出了一种个性化思维模型（PTM），它是一种层级化且可解释的学习者表征，旨在为AI支持的教育提供服务。PTM将来自学习者日志的证据组织成一个五层结构，涵盖行为实例、行为模式、认知惯例、元认知倾向和自我系统价值观。PTM基于Marzano的教育目标新分类法，并尝试克隆学习者的思维模型，构建认知双胞胎。它通过一个结合大型语言模型推理（Gemini 2.5 Pro）、句子嵌入、降维和共识聚类的流程构建。本文通过对40名参与者进行为期七周的研究，使用三种方法评估PTM的保真度。在人工参与（HITL）改进之前，使用原子信息点匹配的自动评估产生了74.57%的总体F1分数，改进后为75.48%。用户评估使用李克特量表，在五分制量表上，HITL前后条件的平均评分分别为4.26和4.30。语义对齐验证表明，主题连贯性从行为层的0.436增加到核心价值层的0.626，而与日志词汇的词汇重叠从0.114减少到0.007。这些结果表明，PTM产生了具有可接受保真度的输出，通常被用户认为反映了他们的思维，并显示出与跨层语义抽象一致的模式。

🔬 方法详解

问题定义：现有AI教育系统难以准确捕捉和理解每个学习者的独特思维模式。缺乏个性化的学习模型，导致系统难以提供定制化的学习建议和支持，无法充分发挥AI在教育领域的潜力。现有方法通常依赖于简单的行为数据分析，忽略了学习者深层次的认知过程和价值观。

核心思路：论文的核心思路是构建一个层级化的、可解释的个性化思维模型（PTM），该模型能够从学习者的日志数据中提取并组织信息，从而模拟学习者的思维方式。通过克隆学习者的思维模式，构建一个“认知双胞胎”，从而为AI教育系统提供更深入的理解和更有效的支持。这种方法旨在弥合AI与人类认知之间的差距，实现更个性化的教育体验。

技术框架：PTM的构建流程包含以下主要模块：1) 数据收集：收集学习者的日志数据，包括行为实例、反思等。2) 特征提取：使用大型语言模型（Gemini 2.5 Pro）和句子嵌入技术从日志数据中提取语义特征。3) 降维：使用降维技术减少特征维度，提高计算效率。4) 聚类：使用共识聚类算法将特征向量聚类成不同的认知类别。5) 层级构建：将聚类结果组织成一个五层结构，分别代表行为实例、行为模式、认知惯例、元认知倾向和自我系统价值观。6) 人工参与（HITL）：通过人工反馈对模型进行改进和优化。

关键创新：PTM的关键创新在于其层级化的结构和可解释性。传统的学习模型通常是黑盒模型，难以理解其内部运作机制。PTM通过将学习者的思维分解成不同的层次，并使用可解释的特征表示，使得模型更容易理解和调试。此外，PTM还结合了大型语言模型和人工参与，提高了模型的准确性和可靠性。PTM的五层结构设计，能够更全面地捕捉学习者的认知特征，从而实现更个性化的教育支持。

关键设计：PTM使用了Gemini 2.5 Pro进行语义推理，并采用句子嵌入技术将文本数据转换为向量表示。在降维方面，论文可能采用了PCA或t-SNE等方法。共识聚类算法的选择和参数设置对聚类效果有重要影响，具体细节未知。HITL环节中，如何有效地利用人工反馈来改进模型也是一个关键设计点，具体方法未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PTM在自动评估中达到了74.57%的F1分数，经过人工参与改进后提升至75.48%。用户评估显示，用户对PTM的认可度较高，平均评分超过4分（满分5分）。语义对齐验证表明，PTM能够有效地捕捉学习者的认知特征，并实现从具体行为到抽象价值观的语义抽象。

🎯 应用场景

PTM模型可应用于个性化学习推荐系统、智能辅导系统和学习分析平台。通过理解学生的思维模式，系统可以提供定制化的学习内容、学习路径和反馈，从而提高学习效率和效果。此外，PTM还可以用于评估学生的学习风格和认知能力，为教师提供有价值的教学参考。未来，PTM有望在终身学习、职业培训等领域发挥重要作用。

📄 摘要（原文）

This paper presents the Personalized Thinking Model (PTM), a hierarchical and interpretable learner representation designed for AI supported education. PTM organizes evidence from learner journals into a five-layer structure covering behavioral instances, behavioral patterns, cognitive routines, metacognitive tendencies, and self-system values. PTM is grounded in Marzano's New Taxonomy of Educational Objectives and tries to clone learner's thinking model and build cognitive twin. It was constructed using a pipeline that combines large language model inference (Gemini 2.5 Pro), sentence embeddings, dimensionality reduction, and consensus clustering. This paper evaluates PTM fidelity through three methods applied to 40 participants in a seven-week study. First, automatic evaluation using atomic information point matching yielded an overall F1 score of 74.57% before human-in-the-loop (HITL) refinement and 75.48% after refinement. Second, user evaluation using a Likert scale produced mean ratings of 4.26 and 4.30 on a five-point scale for pre and post-HITL conditions respectively. Third, semantic alignment verification showed that topic coherence increased from 0.436 at the behavioral layer to 0.626 at the core value layer, while lexical overlap with journal vocabulary decreased from 0.114 to 0.007 across those same layers. These results suggest that the PTM produces outputs with acceptable fidelity, was generally perceived by users as reflecting their thinking, and showed a pattern consistent with semantic abstraction across layers.