Live Knowledge Tracing: Real-Time Adaptation using Tabular Foundation Models

📄 arXiv: 2602.06542v1 📥 PDF

作者: Mounir Lbath, Alexandre Paresy, Abdelkayoum Kaddouri, Alan André, Alexandre Ittah, Jill-Jênn Vie

分类: cs.LG

发布日期: 2026-02-06

💡 一句话要点

提出基于表格基础模型的实时知识追踪方法，加速预测并避免过拟合。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识追踪 表格基础模型 实时学习 双向注意力 在线教育

📋 核心要点

  1. 深度知识追踪模型训练耗时，且易在短序列数据上过拟合。
  2. 利用表格基础模型，通过双向注意力机制实现实时知识追踪，无需离线训练。
  3. 实验表明，该方法在多个数据集上实现了有竞争力的预测性能，并显著加速。

📝 摘要（中文）

深度知识追踪模型在模拟学生学习轨迹方面取得了显著突破。然而，这些架构需要大量的训练时间，并且容易在短序列数据集上过拟合。本文探索了一种利用表格基础模型（TFMs）进行知识追踪的新范例。与需要在固定训练集上进行离线训练的传统方法不同，我们的方法以在线方式执行实时“live”知识追踪。该方法的核心在于双向注意力机制：注意力知识追踪模型仅关注先前的时间步，而TFMs同时关注时间步和训练集中其他学生的交互。它们在推理时将测试序列与相关的训练序列对齐，从而完全跳过训练步骤。我们使用几个规模递增的数据集证明，在随着时间的推移观察到更多学生交互的情况下，我们的方法实现了具有竞争力的预测性能，并加速高达273倍。

🔬 方法详解

问题定义：论文旨在解决深度知识追踪模型训练时间长、容易在短序列数据集上过拟合的问题。现有方法需要大量的离线训练，无法快速适应新的学生交互数据，且泛化能力受限。

核心思路：论文的核心思路是利用表格基础模型（TFMs）的在线学习能力，通过在推理时将测试序列与训练集中相关的序列对齐，从而避免了传统的离线训练过程。这种方法能够实时地根据新的学生交互数据进行调整，提高预测的准确性和效率。

技术框架：该方法的核心是一个双向注意力机制。与传统的注意力知识追踪模型仅关注先前的时间步不同，TFMs同时关注时间步和训练集中其他学生的交互。具体流程如下：1. 输入学生的交互序列；2. 使用双向注意力机制将测试序列与训练集中的相关序列对齐；3. 基于对齐后的序列进行知识追踪和预测。

关键创新：最重要的技术创新点在于利用表格基础模型实现了实时知识追踪，无需离线训练。与现有方法的本质区别在于，该方法不是通过学习一个固定的模型来预测学生的学习轨迹，而是通过在推理时动态地将测试序列与训练集中的相关序列进行匹配，从而实现实时的知识追踪和预测。

关键设计：论文的关键设计包括：1. 双向注意力机制的具体实现方式，如何同时关注时间步和学生交互；2. 如何选择和对齐相关的训练序列；3. 如何基于对齐后的序列进行知识追踪和预测。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述（未知）。

📊 实验亮点

实验结果表明，该方法在多个数据集上实现了具有竞争力的预测性能，并且加速高达273倍。这意味着该方法可以在更短的时间内完成知识追踪和预测任务，从而提高系统的响应速度和用户体验。具体的性能数据和对比基线在论文中进行了详细描述（未知）。

🎯 应用场景

该研究成果可应用于在线教育平台、自适应学习系统和个性化辅导等领域。通过实时追踪学生的学习轨迹，系统可以根据学生的实际情况提供个性化的学习资源和辅导，从而提高学生的学习效率和学习效果。此外，该方法还可以用于评估学生的知识掌握程度，为教师提供教学反馈。

📄 摘要（原文）

Deep knowledge tracing models have achieved significant breakthroughs in modeling student learning trajectories. However, these architectures require substantial training time and are prone to overfitting on datasets with short sequences. In this paper, we explore a new paradigm for knowledge tracing by leveraging tabular foundation models (TFMs). Unlike traditional methods that require offline training on a fixed training set, our approach performs real-time ''live'' knowledge tracing in an online way. The core of our method lies in a two-way attention mechanism: while attention knowledge tracing models only attend across earlier time steps, TFMs simultaneously attend across both time steps and interactions of other students in the training set. They align testing sequences with relevant training sequences at inference time, therefore skipping the training step entirely. We demonstrate, using several datasets of increasing size, that our method achieves competitive predictive performance with up to 273x speedups, in a setting where more student interactions are observed over time.