Not All Options Are Created Equal: Textual Option Weighting for Token-Efficient LLM-Based Knowledge Tracing

📄 arXiv: 2410.12872v2 📥 PDF

作者: JongWoo Kim, SeongYeub Chu, Bryan Wong, Mun Yi

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2024-10-14 (更新: 2025-06-05)

备注: 11 pages

💡 一句话要点

提出LOKT框架，通过文本选项加权提升LLM在知识追踪中的效率和可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识追踪 大型语言模型 文本选项加权 上下文学习 可解释性

📋 核心要点

  1. 现有基于LLM的知识追踪方法难以在token约束下完整表示学习者的交互历史，限制了可扩展性和效率。
  2. LOKT框架通过引入文本分类选项权重(TCOW)来编码交互历史，提升LLM的可解释性和效率。
  3. 实验表明，LOKT在冷启动和热启动设置中均优于现有模型，并在token约束下表现出强大的性能。

📝 摘要（中文）

大型语言模型(LLM)因其强大的推理和泛化能力，已成为知识追踪(KT)领域有前景的工具。然而，现有的基于LLM的KT方法在上下文学习(ICL)中，难以在token约束下将示例学习者的完整交互历史表示在单个prompt中，导致可扩展性受限和计算成本高昂。本文提出了基于LLM的选项加权知识追踪(LOKT)框架，该框架将示例学习者的交互历史编码为文本分类选项权重(TCOW)。TCOW是分配给学习者在回答问题时所选选项的语义标签(例如，“不充分”)，从而增强了LLM的可解释性。在多项选择题数据集上的实验表明，LOKT在冷启动和热启动设置中均优于现有的非LLM和基于LLM的KT模型。此外，LOKT实现了可扩展且经济高效的推理，即使在严格的token约束下也能实现强大的性能。

🔬 方法详解

问题定义：现有基于LLM的知识追踪方法在利用上下文学习(ICL)时，面临着token数量的限制。由于需要将大量学习者的历史交互记录编码到prompt中，当历史记录较长时，容易超出LLM的token限制，导致信息丢失或需要截断，影响模型性能。此外，直接使用原始的交互数据作为prompt，缺乏语义信息，不利于LLM进行推理和泛化。

核心思路：LOKT的核心思路是将学习者的选项选择行为转化为文本分类选项权重(TCOW)，即为每个选项赋予一个语义标签，例如“正确”、“错误”、“不充分”等。这些标签能够更简洁、更具语义地表达学习者的理解程度，从而在有限的token数量下，尽可能保留更多的信息。同时，TCOW的设计也增强了模型的可解释性，使得我们可以更容易地理解模型是如何进行知识追踪的。

技术框架：LOKT框架主要包含以下几个步骤：1) 数据预处理：将学习者的交互历史数据进行清洗和整理，提取问题、选项和选择结果等信息。2) TCOW生成：根据学习者的选择结果，为每个选项分配相应的语义标签。3) Prompt构建：将问题、选项和TCOW组合成prompt，输入到LLM中。4) 知识追踪：LLM根据prompt进行推理，预测学习者对未来问题的回答。

关键创新：LOKT的关键创新在于提出了文本分类选项权重(TCOW)的概念，并将其应用于基于LLM的知识追踪中。与直接使用原始交互数据相比，TCOW能够更简洁、更具语义地表达学习者的理解程度，从而在有限的token数量下，尽可能保留更多的信息。此外，TCOW的设计也增强了模型的可解释性。

关键设计：TCOW的具体标签可以根据不同的数据集和任务进行调整。例如，对于多项选择题，可以设置“正确”、“错误”、“不充分”等标签。对于开放式问题，可以设置“完全正确”、“部分正确”、“错误”等标签。此外，prompt的构建方式也会影响模型性能。可以尝试不同的prompt模板，例如将问题放在前面，将选项和TCOW放在后面，或者将问题和选项交替排列。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LOKT在多个多项选择题数据集上优于现有的非LLM和基于LLM的KT模型。在冷启动设置下，LOKT的性能提升尤为显著。此外，LOKT在严格的token约束下也能实现强大的性能，证明了其在实际应用中的可扩展性和经济性。具体性能提升幅度未知，需参考论文原文。

🎯 应用场景

LOKT框架可应用于在线教育平台、智能辅导系统等领域，用于跟踪学生的知识掌握情况，并根据学生的学习情况提供个性化的学习建议。通过更有效地利用LLM的推理能力，LOKT可以提升知识追踪的准确性和效率，从而改善学生的学习体验和效果。未来，LOKT还可以扩展到其他需要知识追踪的领域，例如医疗诊断、金融风险评估等。

📄 摘要（原文）

Large Language Models (LLMs) have recently emerged as promising tools for knowledge tracing (KT) due to their strong reasoning and generalization abilities. While recent LLM-based KT methods have proposed new prompt formats, they struggle to represent the full interaction histories of example learners within a single prompt during in-context learning (ICL), resulting in limited scalability and high computational cost under token constraints. In this work, we present \textit{LLM-based Option-weighted Knowledge Tracing (LOKT)}, a simple yet effective framework that encodes the interaction histories of example learners in context as \textit{textual categorical option weights (TCOW)}. TCOW are semantic labels (e.g., ``inadequate'') assigned to the options selected by learners when answering questions, enhancing the interpretability of LLMs. Experiments on multiple-choice datasets show that LOKT outperforms existing non-LLM and LLM-based KT models in both cold-start and warm-start settings. Moreover, LOKT enables scalable and cost-efficient inference, achieving strong performance even under strict token constraints. Our code is available at \href{https://anonymous.4open.science/r/LOKT_model-3233}{https://anonymous.4open.science/r/LOKT_model-3233}.