Training Turn-by-Turn Verifiers for Dialogue Tutoring Agents: The Curious Case of LLMs as Your Coding Tutors

📄 arXiv: 2502.13311v3 📥 PDF

作者: Jian Wang, Yinpei Dai, Yichi Zhang, Ziqiao Ma, Wenjie Li, Joyce Chai

分类: cs.CL, cs.AI

发布日期: 2025-02-18 (更新: 2025-05-25)

备注: Accepted to Findings of ACL 2025

💡 一句话要点

提出Trace-and-Verify框架，用于训练基于LLM的对话式代码辅导Agent。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码辅导 大型语言模型 知识追踪 逐轮验证 智能辅导Agent 任务学习 自动评估

📋 核心要点

  1. 现有基于LLM的辅导Agent在指导解决复杂实际任务（如代码编写）方面能力不足，缺乏有效的问题解决引导。
  2. 提出Trace-and-Verify (TRAVER) 框架，结合知识追踪和逐轮验证，更有效地引导学生完成代码任务。
  3. 通过DICT自动评估协议进行实验，结果表明TRAVER显著提高了代码辅导的成功率，验证了其有效性。

📝 摘要（中文）

本文着重研究了利用大型语言模型（LLM）驱动的智能辅导Agent在指导用户解决复杂实际任务方面的能力，特别关注代码辅导这一具有挑战性的问题。为此，论文提出了一种名为Trace-and-Verify (TRAVER) 的新型Agent工作流程，该流程结合了知识追踪技术来评估学生的知识状态，以及逐轮验证机制来确保有效地指导学生完成任务。此外，论文还引入了DICT，一种自动评估协议，通过受控的学生模拟和代码生成测试来评估辅导Agent。大量的实验结果揭示了代码辅导的挑战，并证明TRAVER能够显著提高成功率。虽然本文以代码辅导为例，但该方法可以扩展到其他领域，为推进人类任务学习的辅导Agent提供有价值的见解。

🔬 方法详解

问题定义：论文旨在解决如何利用大型语言模型构建更有效的代码辅导Agent的问题。现有方法在指导学生完成复杂编程任务时，缺乏对学生知识状态的准确追踪和有效的逐轮验证机制，导致辅导效果不佳。现有方法难以主动引导学生解决问题，容易陷入被动问答模式。

核心思路：论文的核心思路是将知识追踪与逐轮验证相结合。知识追踪用于动态评估学生的知识掌握程度，从而提供个性化的辅导内容。逐轮验证则确保Agent每一步的指导都朝着正确的方向前进，避免学生偏离目标。这种主动引导和验证的结合能够更有效地帮助学生完成代码任务。

技术框架：TRAVER框架包含以下主要模块：1) 知识追踪模块：用于评估学生的知识状态。2) 逐轮验证模块：用于验证学生每一步操作的正确性。3) 指导生成模块：基于知识追踪结果和验证结果，生成下一步的指导内容。整体流程是：Agent首先通过知识追踪了解学生的知识水平，然后根据当前任务和学生状态生成指导，学生根据指导进行操作，Agent再对学生的操作进行验证，并根据验证结果调整后续的指导。

关键创新：论文的关键创新在于将知识追踪和逐轮验证相结合，构建了一个主动引导和验证的代码辅导Agent。与传统的被动问答式辅导Agent相比，TRAVER能够更有效地引导学生解决问题。此外，论文还提出了DICT自动评估协议，为评估代码辅导Agent提供了一种新的方法。

关键设计：知识追踪模块可以使用贝叶斯知识追踪（BKT）或深度知识追踪（DKT）等方法。逐轮验证模块可以使用代码执行测试、静态代码分析或LLM的推理能力。指导生成模块可以使用基于规则的方法或基于LLM的方法。DICT评估协议包含受控的学生模拟和代码生成测试，可以全面评估辅导Agent的性能。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细说明，可能需要参考相关文献或进行实验探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TRAVER框架在代码辅导任务上取得了显著的性能提升。与基线方法相比，TRAVER的成功率提高了XX%（具体数据未知，论文中应有体现）。DICT自动评估协议能够有效地评估辅导Agent的性能，为未来的研究提供了有力的工具。这些结果验证了TRAVER框架的有效性和优越性。

🎯 应用场景

该研究成果可应用于在线教育平台、编程学习网站等领域，为学生提供个性化的代码辅导服务。此外，该方法还可以扩展到其他领域的任务学习，例如科学教育、语言学习等，具有广阔的应用前景。未来，该研究有望推动智能辅导Agent的发展，提高学习效率和学习体验。

📄 摘要（原文）

Intelligent tutoring agents powered by large language models (LLMs) have been increasingly explored to deliver personalized knowledge in areas such as language learning and science education. However, their capabilities in guiding users to solve complex real-world tasks remain underexplored. To address this limitation, in this work, we focus on coding tutoring, a challenging problem that requires tutors to proactively guide students towards completing predefined coding tasks. We propose a novel agent workflow, Trace-and-Verify (TRAVER), which combines knowledge tracing to estimate a student's knowledge state and turn-by-turn verification to ensure effective guidance toward task completion. We introduce DICT, an automatic evaluation protocol that assesses tutor agents using controlled student simulation and code generation tests. Extensive experiments reveal the challenges of coding tutoring and demonstrate that TRAVER achieves a significantly higher success rate. Although we use code tutoring as an example in this paper, our approach can be extended beyond coding, providing valuable insights into advancing tutoring agents for human task learning.